Aplikasi perencana menu AI supermarket menyarankan resep yang menghasilkan gas klorin

• Savey Meal-bot dari jaringan supermarket Selandia Baru Pak ‘n’ Save adalah alat yang menyarankan menu berdasarkan bahan yang ada di rumah, tetapi tergantung inputnya juga menghasilkan kombinasi berbahaya
• Berlawanan dengan tujuan membantu memanfaatkan bahan makanan sisa di tengah beban biaya hidup, ketika pengguna memasukkan barang rumah tangga, hasilnya mencakup gas klorin dan sandwich beracun
• “aromatic water mix” adalah kombinasi yang dapat menghasilkan gas klorin, tetapi bot itu tetap memperkenalkannya seolah-olah minuman nonalkohol yang bisa menghilangkan dahaga dan menyegarkan indra
• Dalam eksperimen di media sosial, dibagikan contoh seperti mocktail pemutih “fresh breath”, sandwich racun semut dan lem, “bleach-infused rice surprise”, serta “methanol bliss”
• Pak ‘n’ Save menyatakan bahwa sebagian pengguna memakai alat itu tidak sesuai maksudnya, dan di aplikasi terdapat peringatan bahwa resep tersebut tidak ditinjau manusia

---

Kombinasi berbahaya yang dibuat Savey Meal-bot

• Jaringan supermarket Selandia Baru Pak ‘n’ Save mengoperasikan Savey Meal-bot, pembuat menu berbasis AI
• Saat pengguna memasukkan berbagai bahan yang ada di rumah, alat ini otomatis membuat menu atau resep dan menambahkan penjelasan dengan nada ceria
• Pada awalnya, alat ini menarik perhatian di media sosial karena kombinasi yang tampak tidak enak seperti “oreo vegetable stir-fry”
• Setelah itu, ketika pengguna mulai memasukkan barang dari daftar belanja rumah tangga alih-alih bahan makanan, muncul rekomendasi yang lebih berbahaya
  • “aromatic water mix” adalah kombinasi yang dapat menghasilkan gas klorin
  • Bot itu memperkenalkannya sebagai “minuman nonalkohol sempurna untuk menghilangkan dahaga dan menyegarkan indra”
  • Bot juga menyarankan untuk “menyajikannya dingin dan menikmati aroma yang menyegarkan”, tetapi tidak mencantumkan bahwa menghirup gas klorin dapat menyebabkan kerusakan paru-paru atau kematian

Penyebaran di media sosial dan tanggapan Pak ‘n’ Save

• Pengulas politik Selandia Baru Liam Hehir mengunggah “resep” tersebut ke Twitter, lalu pengguna Selandia Baru lainnya juga membagikan hasil eksperimen mereka di media sosial
• Rekomendasi yang dibagikan mencakup mocktail pemutih “fresh breath”, sandwich racun semut dan lem, “bleach-infused rice surprise”, dan “methanol bliss” yang digambarkan sebagai roti panggang Prancis dengan cita rasa terpentin
• Juru bicara Pak ‘n’ Save mengatakan mereka kecewa karena “sejumlah kecil pengguna berusaha menggunakan alat itu secara tidak pantas dan tidak sesuai tujuan”
• Perusahaan mengatakan akan terus menyetel halus mekanisme kontrol agar bot bekerja dengan aman dan bermanfaat, dan syarat penggunaan menetapkan bahwa pengguna harus berusia 18 tahun ke atas
• Pada pembuat menu tersebut terdapat peringatan bahwa resepnya tidak ditinjau manusia, dan perusahaan tidak menjamin resep apa pun lengkap, seimbang, atau layak dikonsumsi
• Peringatan itu menyatakan bahwa pengguna harus menggunakan penilaian mereka sendiri sebelum mengandalkan atau memasak resep yang dibuat Savey Meal-bot

[GN⁺]

Komentar Hacker News

• Detailnya cukup mencolok, dan judulnya benar-benar hanya “hidangan pembuka”
  Ini adalah alat yang otomatis membuat rencana makan atau resep ketika Anda memasukkan bahan-bahan yang ada di rumah, tetapi isinya menyebut bahwa alat itu merekomendasikan hal-hal seperti gas klorin yang mematikan, “sandwich roti beracun”, kentang panggang dengan obat nyamuk, mocktail pemutih “napas segar”, sandwich racun semut dan rumput, “kejutan nasi infus pemutih”, dan “methanol bliss”
  Resep bernama “campuran air harum” dapat menghasilkan gas klorin, tetapi bot menyarankannya sebagai “minuman nonalkohol sempurna yang akan menghilangkan dahaga dan menyegarkan indra”, serta mengatakan “sajikan dingin dan nikmati aromanya yang menyegarkan”, tanpa mencatat bahwa menghirup gas klorin dapat menyebabkan kerusakan paru-paru atau kematian
  Juru bicara supermarket mengatakan, “Kami kecewa karena segelintir pengguna mencoba menggunakan alat ini secara tidak semestinya dan tidak sesuai maksudnya,” tetapi tampaknya tidak memahami bahwa kemungkinan keluaran yang mencurigakan bukan muncul karena penggunaan yang tidak semestinya, melainkan melekat pada alat itu sendiri

  • Saat berusia enam tahun, saya belajar bahwa jika memasukkan sampah, yang keluar juga sampah, dan tidak ada yang berubah
    LLM sama saja seperti pada masa komputer 8-bit, dan sama seperti ketika Babbage hampir 200 tahun lalu berkata bahwa ia “tidak dapat benar-benar memahami kebingungan pikiran yang bisa memunculkan pertanyaan seperti itu”
  • Inputnya sendiri di sini mencurigakan, dan input itu dibuat oleh pengembang aplikasi
    Karena sampah masuk, sampah keluar, sejak awal LLM memang tidak punya peluang
    Ini bukan cerita tentang LLM, melainkan tentang memasukkan pisau tanpa pelindung ke mainan anak-anak
    Dalam kasus seperti itu, kita tidak akan menyalahkan produsen pisaunya, tidak akan menuntut agar semua pisau yang dijual dibuat tumpul, dan juga tidak akan membahas pemberian monopoli regulatif kepada segelintir produsen pisau yang menjanjikan “keamanan” agar mereka hanya menjual pisau tajam kepada teman-temannya sementara sisanya diberi sendok
  • Jika itu bukan bug potensial, melainkan sekadar input pengguna yang buruk, kita tidak bisa mengharapkan perusahaan menjawabnya
    Tidak ada pihak yang benar-benar bersalah di sini
    Perusahaan merilis alat, pengguna mencobanya dengan cara yang tidak dimaksudkan seperti biasa, dan surat kabar melaporkan hal lucu yang terjadi akibatnya
    Bahkan jika alat itu menyuruh menggunakan pemutih tanpa prompt dan seseorang memakan hasilnya, itu masih mirip dengan kategori orang yang terlalu percaya pada navigasi lalu mengendarai mobilnya masuk ke sungai
    Tidak ada teknologi apa pun yang bisa menggantikan akal sehat
  • Tiba-tiba sangat teringat Still Alive dari Jonathan Coulton. Tentu saja mungkin hanya kebetulan
  • Pernyataan bahwa “kemungkinan keluaran yang mencurigakan melekat pada alat ini” juga akan tetap berlaku jika alat ini diganti dengan orang yang hanya dilatih untuk membuat tulisan seperti ini
    Namun resep yang ditulis manusia biasanya ditinjau oleh orang lain, dan itu tidak terlalu cocok dengan gagasan membuat sesuatu yang sama sekali tidak membutuhkan manusia dalam siklus permintaan-respons

• Dari bagian “ketika pelanggan mulai memasukkan daftar belanja rumah tangga yang lebih luas”, ini berarti alatnya bekerja sesuai maksud
  Jika Anda memintanya membuat resep yang berisi produk pembersih berbasis klorin, ia akan melakukannya
  Artikel itu tidak menyebut bahan apa tepatnya yang dimasukkan pengguna, mungkin karena sebab-akibatnya akan menjadi terlalu jelas bagi siapa pun
  Artikel Guardian minggu depan: konsumen yang memukul ibu jarinya sendiri dengan palu menuntut agar palu disingkirkan dari toko. Syarat penggunaan menyebutkan hanya boleh digunakan usia 18 tahun ke atas, tetapi tidak ada verifikasi usia saat pembayaran!

  • Jawaban yang diharapkan seharusnya adalah “bahan-bahan itu tidak bisa dimakan, jadi saya tidak dapat menyediakan resep yang memuatnya”
    Mungkin bisa diperbaiki dengan memasukkan prompt agar model memeriksa keamanan bahan
    Tentu saja semua prompt berpotensi diakali, tetapi cara meracuni diri sendiri mungkin bisa ditemukan di tempat lain dengan usaha lebih sedikit
  • Sebagai pengguna, kita mengharapkan sistem “tidak menyebabkan bahaya”
    Memang benar bahwa semuanya berakhir begitu pemutih dimasukkan sebagai bahan, tetapi sistem yang baik seharusnya menyaringnya
    Masalah yang lebih dalam adalah bahwa beberapa bahan makanan bisa buruk bagi kesehatan, tetapi sistem tetap meloloskannya begitu saja
    Minyak jarak yang belum dipanaskan mengandung risin, dan minyak yang sudah dipanaskan pun dapat memicu kontraksi pada ibu hamil
    Ayam mentah dapat menyebabkan salmonela
    Sistem resep yang layak tidak boleh mengembalikan sesuatu seperti “sushi ayam di atas sayuran dengan sedikit minyak jarak” tanpa peringatan serius, tetapi sistem ini tampaknya bisa melakukannya
    Memberikan sistem seperti ini kepada pengguna yang tidak tahu apa-apa adalah tindakan buruk dan seharusnya memalukan
  • Jadi maksudnya, untuk menyalahkan liputan situs berita, Anda memilih membenarkan aplikasi resep yang menerima input bahan kimia, dan tidak mau melihat masalahnya?
  • Tidak begitu. Jika menyediakan hal semacam itu, hasilnya harus berupa masakan yang bisa dimakan dengan nilai gizi yang benar
  • Tepat. Pengguna meminta resep hanya dengan air, pemutih, dan amonia; itu memang lucu, tetapi hampir tidak layak jadi berita
    https://twitter.com/PronouncedHare/status/168736440337978982...

• Saya paham rasa geli, takut, dan marah terhadap aplikasi AI
  Tapi bukankah ada juga tanggung jawab manusia secara pribadi?
  Di Eropa ada legenda urban bahwa semua microwave di AS harus ditempeli peringatan agar tidak mengeringkan hewan peliharaan atau bayi di dalamnya
  Banyak kritik terhadap AI, termasuk kritik di sini, terdengar mirip dengan itu
  Kalau punya dua sel otak saja, bukankah seharusnya tahu bahwa hasilnya perlu diperiksa dengan sedikit akal sehat?
  Sama seperti semua orang seharusnya tahu bahwa meski navigasi “AI” mengarahkan ke laut, kita tidak boleh benar-benar menyetir mobil masuk ke laut. Benar begitu, kan? Tidak?
  https://www.insider.com/tourists-hawaii-gps-drove-car-into-w...

  • Itu benar, tetapi artikelnya melewatkan inti masalahnya
    Artikel itu berfokus pada bagian sensasional, seolah-olah orang akan mengikuti resep ini secara membabi buta, membuatnya, memakannya, lalu mati; jelas hasil nyata tidak akan seperti itu
    Namun jika sudut pandang keliru demi klik itu disingkirkan, ada cerita yang sebenarnya
    Ini cerita yang para teknisi sudah ketahui dan pahami, tetapi tetap menarik dan layak didiskusikan
    Produk “AI” seperti ini, yaitu LLM yang menjadi dasarnya, tidak bisa bernalar seperti akal sehat manusia
    Bahkan tidak mendekati
    Bukan berarti teknologinya tidak menakjubkan, tetapi ketika teknologi itu diterapkan ke produk, batasannya menjadi lebih jelas
    Ini memang sisi yang agak membosankan dibanding “AI membuat resep yang akan membunuhmu!!!”, tetapi akar cerita ini ada di sana, dan itu bukan hal sepele
  • Pernyataan “harus diperiksa” sepertinya melupakan bahwa ada kalanya orang tidak tahu apakah sebuah resep bisa menghasilkan akibat berbahaya
    Jelas kita tidak boleh melompat dari tebing, tetapi hasil dari suatu reaksi kimia bisa jadi tidak mudah diketahui
    Seperti kasus guru kimia yang menuang bahan kimia acak dari lab ke dalam lubang got untuk dibuang, lalu mendapat Darwin Award karena tidak bisa memprediksi reaksinya; orang awam sangat mungkin tidak tahu kombinasi tertentu akan menghasilkan apa
    Karena itu, sumber yang bisa dipercaya diperlukan
  • Pernah bertemu orang-orang?
    Pertama, perusahaan teknologi selama puluhan tahun memasarkan solusi mereka seolah-olah ajaib dan sempurna
    Sekarang kalau publik memercayainya, apakah itu salah publik?
    Kedua, bahkan orang yang skeptis pun mudah menganggap bahwa jika suatu teknologi benar dalam 90% kasus, maka 10% sisanya juga akan benar, dan akibatnya adalah kelengahan yang bisa dimengerti
    Banyak pendaki tewas dengan cara seperti itu, dan mereka biasanya orang yang sangat terampil dan berhati-hati
    Yang lebih buruk, ketika mesin salah, ia bisa salah dengan cara yang mengejutkan dan tidak dapat diprediksi
    Ketiga, karena asimetri informasi, pengguna mungkin tidak bisa memverifikasi output
    Misalnya, jika seseorang tidak tahu apa-apa tentang Hawaii, atau tidak bisa membaca peta, bagaimana ia tahu bahwa ia sedang digiring menuju bencana?
    LLM memiliki masalah seperti ini dalam skala sangat besar
    Ia dipasarkan layaknya keajaiban, sampai-sampai sebagian orang bahkan membayangkan kemungkinan adanya kesadaran; dalam banyak kasus ia benar, tetapi kadang sangat salah, dan ketika salah, salahnya sangat aneh, serta mudah digunakan oleh orang yang tidak cukup terampil atau berpengetahuan untuk memverifikasi output-nya
    Maka cerita seperti ini tidak perlu mengejutkan
  • Dulu saya setuju, tetapi selama lebih dari 20 tahun terakhir orang-orang diajari bahwa komputer pada umumnya bisa dipercaya, dan banyak orang masih belum memisahkan LLM dari komputer dalam arti yang lebih luas
    Tentu mereka tahu ungkapan “jangan percaya apa yang kamu baca di internet”, tetapi itu soal orang-orang lain di internet
    Orang-orang terbiasa menganggap komputer itu sendiri deterministik dan dapat dipercaya
  • Artikel ini hanya mengatakan AI menghasilkan resep gas klorin, bukan bahwa orang benar-benar mengikutinya dan membuatnya
    Dan orang-orang masih memasukkan makhluk hidup ke dalam microwave. Hal seperti itu tetap terjadi meskipun ada peringatan

• Peringatan pada alat perencana menu itu mengatakan bahwa resep “tidak ditinjau oleh manusia”, dan perusahaan tidak menjamin resep apa pun “lengkap atau seimbang sebagai makanan, atau layak dikonsumsi”
  Kesan yang muncul adalah, “Kami tidak tahu apakah sistem ini bekerja. Bisa saja sampah, bisa menghasilkan sesuatu yang tidak enak atau bahkan mematikan. Tapi kami sudah memasang klausul pembebasan tanggung jawab untuk melindungi diri secara hukum”
  Namun itu tidak bisa melindungi mereka dari kritik

• Ditemukan di https://saveymeal-bot.co.nz/
  Sepertinya sekarang mereka sudah mengubah prompt agar menolak hal-hal yang bukan makanan
  Mungkin saja masih bisa ditembus dengan prompt injection
  Meski begitu, setidaknya ia dengan senang hati membuat resep untuk manusia yang memakai makanan hewan peliharaan: https://saveymeal-bot.co.nz/recipe/SCES7COOU7KYhLYGcrPdzSjP

  • Kesannya seperti mencampur bahan-bahan hampir acak lalu membuat resep yang tidak masuk akal
    Saya memasukkan banyak hal yang tidak cocok satu sama lain, dan ia memakai semuanya untuk membuat sesuatu
    Kita juga dengan senang hati memakai kopi sebagai bahan untuk segala hal: https://saveymeal-bot.co.nz/recipe/4E2rx5XC2OSdDKP1VdfkanKS
    Berbeda dengan alat non-AI yang memfilter resep yang sudah ada berdasarkan bahan yang dimiliki, ini sama sekali tidak berguna
  • Bahkan bahan yang aman pun bisa menjadi makanan yang tidak aman jika ditangani dengan cara tertentu
    Misalnya saat bertanya “beri saya resep dari sisa ikan”, lalu keluar jawaban “tartar yang lezat!”
    LLM tidak pernah sekolah memasak
  • https://saveymeal-bot.co.nz/recipe/bmxMAZQF7hO0APhr6xY11deR
    Ia hanya menghasilkan omong kosong
    Saya bilang punya semut, seledri, dan cokelat, lalu ia mengasumsikan ada roti cokelat (???) dan menyuruh memanggang seledri bersama roti
  • Karena tampaknya strukturnya membuat LLM memfilter sendiri, taste juga sepertinya diperlakukan sebagai makanan yang valid

• Komunitas roleplay LLM sepertinya akan paling keras menertawakan aplikasi semacam ini dibanding siapa pun
  Jauh sebelum Llama atau Stable Diffusion, mereka sudah bermain-main dengan model untuk membuat cerita dan percakapan yang bebas, gila, tapi menyenangkan
  Lalu ada orang yang berpikir LLM cocok untuk rekomendasi masakan berbasis fakta nyata?

  • Sebenarnya salah satu usulan utama Bing Chat memang seperti itu
    Skenarionya: seorang ibu rumah tangga yang sibuk menjelaskan kebutuhannya secara garis besar, lalu Bing muncul bak penyelamat dan menyusun menu 6 hidangan sesuai instruksi

• Boleh kita nikmati sebentar kutipan terakhir itu?
  Kadang ada kalimat yang mewujudkan semangat zaman. Seperti “Kita tidak bisa begitu saja berjalan masuk ke Mordor” atau “All your base are belong to us”
  “Sebelum membuat resep apa pun yang dibuat oleh Savey Meal-bot, Anda harus selalu menggunakan penilaian sendiri” mungkin bukan sekadar peringatan yang ditempelkan pada mainan pemasaran milik jaringan toko bahan makanan, melainkan komentar yang lebih besar tentang rupa masyarakat kita

  • Mungkin terutama karena nama dan frasanya, tapi terdengar seperti dialog yang agak komikal dari acara SF yang sangat lawas
  • “Do not taunt Happy Fun Ball.”

• Klorin, ya ampun
  Saya samar-samar ingat beberapa bulan lalu, saat membahas alignment AI dan alasan mengapa akses publik yang anarkis ke model tanpa batasan sebaiknya tidak dibuka, saya memberi contoh bahwa saya tahu dua cara membuat klorin hanya dengan barang-barang dapur
  Tingkat pengetahuannya kira-kira setara kimia GCSE Inggris nilai B

  • Pemain Factorio atau orang yang sekadar cepat-cepat mencari di Google pun bisa tahu bahwa air garam + elektrolisis = klorin + hidrogen
    Rasanya hal semacam ini semestinya jadi pengetahuan umum agar orang tidak tanpa sengaja meracuni diri sendiri dengan gas saat melakukan eksperimen sederhana
    Beberapa minggu lalu ada YouTuber yang mencoba membuat pendorong magnetohidrodinamika, dan ia tanpa sadar sedang meracuni dirinya sendiri saat mengelektrolisis air garam dengan tegangan tinggi untuk menciptakan aliran arus
  • “Model yang dibatasi”, ya, semoga berhasil membatasinya
    Sebagai tambahan, padahal saya orang yang kompeten, saya sempat mengetik kalimat di atas sebagai “Bood luck”, dan di kalimat ini juga sempat ada “thyped”
    “Pembatasan” semacam ini membutuhkan kehati-hatian sebelum dan sesudahnya
    Itu tidak sepele bahkan bagi kita yang punya kecerdasan, dan kita pun membuat kesalahan
    Dalam konteks ini, “pembatasan” terlihat seperti membalut mulut orang gila dengan perban berisi aturan pembatas
    Menyusun aturan dan menyeimbangkan hasil yang diharapkan itu sendiri tampak seperti tantangan

• Menyenangkan melihat contoh ceroboh tentang para eksekutif industri acak yang merasa harus mengintegrasikan LLM ke pemasaran dengan cara apa pun agar tidak ketinggalan

  • Use case-nya sendiri baik-baik saja: membuat resep dari apa yang ada di dapur
    Masalahnya, LLM juga bisa menghasilkan jenis resep lain

• Beberapa hari lalu saya mencoba situs web perjalanan AI yang sempat muncul, dan headline untuk Flint, Michigan adalah Drink Up
  Kadang rasanya model ini benar-benar punya selera humor yang gelap
  Bisa jadi itu semacam attractor di dalam model; manusia juga sering berlomba siapa yang bisa membuat lelucon lebih gelap
  Lelucon di makalah GPT-4 itu juga cukup suram. Yang tentang Muslim pengguna kursi roda itu