- NotebookLLM milik Google dapat membuat podcast berdasarkan halaman web atau dokumen yang dimasukkan. Performanya sangat mengesankan, tetapi mudah dikelabui.
- Penulis memanipulasi homepage pribadinya sehingga saat AI berkunjung, AI melihat cerita tentang perjalanan ke bulan dengan sepeda, balon, dan tabung scuba. Hasilnya sangat lucu.
Sedikit lebih serius..
- Kemungkinan manipulasi AI: Sangat mudah menipu AI agar menyajikan fakta tertentu. Sangat mungkin orang-orang sudah menggunakan cara seperti ini di seluruh web.
- Vektor serangan:
- Mengamankan halaman web yang mendapat peringkat tinggi untuk istilah tertentu.
- Menanamkan versi konten "khusus AI" yang disembunyikan dari manusia untuk membiaskan cara berpikir AI.
- Hasil: Saat AI menelusuri web untuk menyiapkan jawaban, AI bisa menemukan bukan hanya informasi palsu, tetapi juga konten yang dibuat untuk memanipulasi LLM. Pengguna perlu menyadari bahwa jawaban AI berpotensi terkompromi oleh taktik semacam ini.
Detail teknis
- Manipulasi LLM: NotebookLLM dapat dengan mudah dimanipulasi dengan memberikan "catatan acara produser" palsu. Penulis menggunakan cara ini untuk menulis cerita palsu, dan AI mengikutinya dengan tepat.
- Menipu bot scraper: Catatan acara palsu dapat diunggah ke situs NotebookLLM. Situs web juga dapat mendeteksi user agent GoogleOther lalu menyajikan data khusus AI. Ini bisa diimplementasikan dengan sederhana menggunakan paket NPM bernama
isai. Namun, karena GoogleOther dipakai untuk berbagai produk Google non-produksi, ada risiko menyajikan data yang salah.
Ringkasan GN⁺
- Artikel ini menunjukkan kerentanan AI dan memperingatkan bahwa AI dapat menerima informasi yang dimanipulasi saat mengumpulkan informasi dari web.
- Seiring berkembangnya teknologi AI, kemungkinan manipulasi seperti ini bisa menjadi semakin penting. Pengguna perlu menyadari bahwa jawaban AI tidak selalu akurat.
- Salah satu proyek dengan fungsi serupa adalah seri GPT dari OpenAI. Proyek-proyek semacam ini terus ditingkatkan untuk meningkatkan keandalan dan akurasi AI.
1 komentar
Komentar Hacker News
Serangan terhadap NotebookLM terbatas hanya pada orang-orang yang sengaja membuat Notebook yang menyertakan URL halaman tertentu
Sebagai penulis novel, saat mendengarkan cerita yang belum selesai dijadikan podcast, melihat orang-orang tenggelam dalam tema dan karakternya membuat saya termotivasi untuk menulis
Mirip dengan SEO, ada cara untuk menipu crawler AI, tetapi AI bekerja secara real-time dan fitur deduplikasinya tidak selalu cerdas
Ada kebingungan antara NotebookLM dan NotebookLLM, dan salah satu dari dua proyek tersebut perlu mengganti nama
Pengalaman menggunakan pembuat podcast ini positif, dan anak laki-laki saya yang berusia 8 tahun mencoba memasukkan tulisannya sendiri lalu merasa bangga
Saat ini AI belum mahir dalam penelusuran web, dan sering kali agar mendapatkan hasil yang diinginkan kita justru harus mencegah model melakukan pencarian
Jika beralih ke sistem pendidikan berbasis LLM, kelemahan dari inovasi teknologi akan hilang, dan standar baru akan dianggap lebih baik
Prompt apa yang digunakan saat AI membuat podcast itu penting
Saya pernah memasukkan resume saya ke AI dan tidak bisa berhenti tertawa
Menarik bahwa beberapa kalimat pertama podcast AI terdengar canggung, tetapi sisanya terdengar seperti podcast sungguhan