Keluarga dirawat di rumah sakit setelah keracunan jamur beracun usai mengikuti "buku identifikasi jamur" yang dibuat dengan AI generatif

• Seluruh keluarga dirawat di rumah sakit setelah tanpa sengaja mengonsumsi jamur beracun minggu lalu
• Sang istri membeli buku dengan judul mirip "Mushrooms UK: A Guide to Harvesting Safe and Edible Mushrooms" dari peritel online besar untuk hadiah ulang tahun
• Buku itu memuat foto-foto jamur yang dimaksudkan untuk membantu mengidentifikasi tiap jamur
• Sayangnya, buku tersebut tidak akurat. Setelah diteliti lebih lanjut, ditemukan bahwa gambar-gambar jamurnya dibuat oleh AI, dan ada dua contoh teks yang di akhir tiap kalimatnya diikuti "pertanyaan acak" atau "kalimat yang memecah dinding keempat"
• Contohnya:
  • "Kesimpulannya, morel adalah jamur lezat yang dapat dimakan dari Agustus hingga akhir musim panas. Beri tahu saya jika ada hal lain yang bisa saya bantu."
• Peritel online itu menanggapi bahwa mereka akan memberikan pengembalian dana jika bukunya dikembalikan
• Buku ini sudah dihentikan penjualannya di peritel online tersebut, tetapi tampaknya masih ada puluhan buku lain dengan gaya serupa
• Untuk memperjelas: "Saat membeli, saya tidak tahu ini dibuat dengan kecerdasan buatan! Itu tidak diungkapkan di situs web!"

[GN⁺]

Opini Hacker News

• Menekankan perlunya regulasi terhadap penerbitan AI

  • Menunjukkan bahwa "University of East Ontario" tidak ada dan menganggapnya sebagai kelalaian kriminal

• Berpendapat bahwa AI generatif tidak bekerja dalam situasi yang menuntut hasil di dunia nyata

  • Saat ini AI tidak lebih dari sekadar fitur pelengkapan otomatis sederhana dan tidak memahami konteks penggunaannya
  • Mungkin cukup untuk gambar stok atau teks halaman produk, tetapi sangat berbahaya dalam situasi penting

• Mempertanyakan kredibilitas utas "LegalAdvice" di Reddit

  • Menunjukkan bahwa saat ini bukan musim jamur morel di Inggris

• Membagikan artikel yang lebih dapat dipercaya

  • Menunjukkan bahwa akurasi identifikasi jamur dengan AI rendah
  • Apple, Google, OpenAI, dan Microsoft tidak memberikan komentar soal ini

• Menyebut kasus para influencer di Tiktok dan Facebook yang membagikan informasi tanaman yang salah

  • Sering kali mereka keliru mempromosikan tanaman berbahaya untuk makanan atau perawatan kulit

• Mengklaim bahwa sebagian besar postingan "advice" di Reddit adalah karangan

  • Akan menahan kemarahan sampai ada bukti nyata

• Menunjukkan keterbatasan AI generatif dan masalah tanggung jawab yang timbul karenanya

  • Perusahaan AI perlu menambahkan penafian dan peringatan
  • Harus dinyatakan dengan jelas bahwa isi yang dihasilkan LLM bisa salah

• Mengungkapkan kecurigaan terhadap email dari peritel online

  • Larangan memotret produk dan permintaan pengembalian segera terasa mencurigakan
  • Mengklaim bahwa cerita ini palsu karena mencakup ancaman penutupan akun

• Menyebut bahwa National Audubon Society Field Guide juga dapat menimbulkan risiko keracunan jika digunakan secara keliru

  • Ini bukan semata-mata masalah AI

• Membayangkan keluhan susulan tentang nasihat hukum buatan AI dan menganggapnya lucu