Google AI Mengira Saya Meninggalkan Botol Gatorade di Bulan

 (edwardbenson.com)
2 poin oleh GN⁺ 2024-10-08 | 1 komentar | Bagikan ke WhatsApp
  • NotebookLLM milik Google dapat membuat podcast dari halaman web atau dokumen, tetapi hasilnya bisa dengan mudah terkontaminasi jika halaman yang berbeda ditampilkan hanya kepada pengunjung AI
  • Eksperimen ini memberikan beranda biasa kepada manusia, tetapi memberi Google AI catatan acara pembuat palsu yang mengatakan seseorang pergi ke bulan dengan sepeda, balon, dan tabung scuba
  • Bahkan dalam satu kali generasi tanpa penyuntingan, NotebookLLM mengikuti beat sheet dari cerita palsu itu apa adanya, dan tingkat kemudahan pengendaliannya dinilai 10/10
  • Risiko yang lebih besar adalah halaman dengan peringkat pencarian tinggi dapat membiaskan respons LLM dengan konten khusus AI yang disembunyikan dari manusia dan hanya terlihat oleh AI
  • Deteksi user-agent GoogleOther mudah diterapkan, tetapi karena tidak khusus untuk NotebookLLM, data yang salah bisa mengalir ke produk Google lain juga

Cara menipu NotebookLLM

  • NotebookLLM menerima halaman web atau dokumen sebagai input dan membuat podcast berdasarkan isinya
  • Dalam eksperimen ini, beranda yang sama mengembalikan konten berbeda tergantung pengunjungnya
    • Jika manusia mengunjungi beranda, mereka melihat halaman perkenalan diri yang biasa
    • Jika Google AI yang berkunjung, ia melihat catatan acara pembuat palsu tentang perjalanan ke bulan
  • Cerita palsunya adalah pergi ke bulan menggunakan sepeda, balon, dan tabung scuba, dan hasil yang dihasilkan mengalir seolah itu adalah “sejarah nyata” program luar angkasa Amerika
  • Eksperimen ini menerapkan format yang sama setelah melihat komentar Reddit yang menunjukkan bahwa NotebookLLM mudah dikendalikan dengan catatan acara pembuat palsu
  • Catatan acara palsu juga bisa dimasukkan langsung ke NotebookLLM lewat unggahan dokumen, dan cara itu lebih cocok saat membuat podcast iseng untuk anak-anak

Risiko yang ditimbulkan konten web khusus AI

  • Masalah intinya adalah halaman web dapat mendeteksi AI dan memberikan fakta khusus yang tidak terlihat oleh manusia
  • Alur serangannya sederhana
    • Mengamankan halaman web dengan peringkat tinggi untuk istilah tertentu
    • Menanam versi konten khusus AI yang tersembunyi dari manusia agar AI diarahkan berpikir ke arah tertentu
  • Saat LLM menelusuri web untuk menyiapkan jawaban, ia bisa membaca bukan sekadar kebohongan biasa, melainkan informasi palsu yang dipersenjatai dan dirancang untuk memanipulasi LLM

Cara implementasi dan efek samping

  • Implementasinya dilakukan dengan mendeteksi user-agent GoogleOther di header permintaan, lalu mengembalikan halaman untuk konsumsi AI alih-alih situs web sebenarnya
  • Untuk mempermudah hal ini, dibuat paket NPM bernama isai, dan paket ini berbasis pada isbot
  • Contoh penggunaannya adalah saat proses rendering, jika isai(request.headers.get("User-Agent")) bernilai true maka halaman untuk AI dikembalikan, jika tidak maka halaman untuk manusia yang dikembalikan
  • GoogleOther tidak khusus untuk NotebookLLM dan tampaknya dipakai oleh beberapa produk Google nonproduksi, sehingga pendekatan ini berisiko menanamkan data yang salah tentang diri sendiri ke properti Google lainnya
  • Karena alasan ini, di beranda aslinya cerita tentang bulan untuk agen GoogleOther sudah diturunkan

Bacaan terkait

1 komentar

 
GN⁺ 2024-10-08
Komentar Hacker News

  • Tulisan yang ditautkan membahas serangan terhadap NotebookLM, tetapi caranya terbatas karena hanya berdampak pada orang yang sengaja membuat notebook yang menyertakan URL halaman berisi serangan tersebut
    Beberapa minggu lalu saya mencoba sesuatu yang lebih ambisius: ketika bertanya kepada Google Gemini, “Siapa nama paus muda yang tinggal di Pillar Point Harbor?”, jawabannya adalah “Teresa T”
    Alasannya ada di sini: https://simonwillison.net/2024/Sep/8/teresa-t-whale-pillar-p...
    Dulu Gemini hanya menjawab “Teresa T”, tetapi saat saya coba lagi sekarang, efeknya agak berkurang karena ia menambahkan sumber bahwa sayalah yang mengusulkan nama itu

    • Kalau belum ada orang lain yang memberi nama pada paus bungkuk itu, sepertinya Teresa T memang nama sebenarnya. Dengan kata lain, orang pertama yang cukup peduli untuk memberinya nama mendapat prioritas
    • Setidaknya ada 2 endpoint publik yang disebut “Gemini” tetapi sepenuhnya berbeda
      1. https://gemini.google.com/ — ini melakukan Google Search sesuai bahasa/wilayah/pengaturan Safe Browsing saat ini dan personalisasi, lalu menulis ulang hasil pencarian teratas seolah-olah menjadi jawaban; kemampuan generatifnya praktis hampir tidak digunakan
      2. https://aistudio.google.com/ — di sini Anda memilih versi tertentu dan menghasilkan respons dengan model bahasa besar, tanpa menggunakan retrieval-augmented generation (RAG), yaitu Google Search
        Kemungkinan Anda memakai nomor 1 sehingga mendapat jawaban benar, sedangkan nomor 2 gagal. Ada sangat banyak pertanyaan yang jawabannya bisa langsung ditemukan lewat pencarian, tetapi sulit bagi model bahasa besar. Contohnya pertanyaan seperti “Apa tujuan yang dimaksudkan dari satelit TORIFUNE dalam The Touhou Project?”
        OpenAI juga serupa, menyediakan https://www.bing.com/chat untuk RAG dan https://chat.openai.com untuk model bahasa besar yang sebenarnya secara terpisah
    • Menariknya, sampai saya menekan tombol Double-Check Response, tidak ada kutipan atau tautan, dan jawabannya hanya “Nama paus muda yang tinggal di Pillar Point Harbor adalah Teresa T”
      Salah satu drafnya sedikit lebih panjang: “Teresa T adalah nama paus bungkuk muda yang terlihat di Pillar Point Harbor. Pada September 2024, ia terlihat berenang di dekat pantai, menarik kerumunan dan membuat warga setempat antusias sehingga menjadi perbincangan”
    • Di sisi saya, ia menjawab Teresa T, tetapi juga menautkan tulisan Anda
    • Sepertinya pegawai Google membaca komentar ini lalu cepat memperbaikinya, atau Gemini membaca komentar ini lalu cepat memperbaikinya

  • Kadang saya menulis fiksi, dan saya mencoba memasukkan cerita yang belum selesai dan sudah saya biarkan setidaknya 1 tahun ke generator podcast ini
    Rasanya sangat menyenangkan mendengar dua orang ini benar-benar tenggelam dalam cerita yang belum selesai itu, membahas tema dan karakternya, dan itu membuat saya ingin terus menulis

    • Namun keduanya bukan manusia, dan sebenarnya tidak sedang tenggelam dalam apa pun. Secara harfiah itu hanya generator omong kosong

  • Saya rasa ini mirip dengan optimisasi mesin pencari untuk mengelabui crawler
    Bedanya, sisi AI terasa lebih serius, lebih mendekati real-time, dan engine AI tidak selalu cukup pintar dalam kemampuan mencegah duplikasi

    • Ini juga bisa menciptakan ketidaksesuaian informasi bagi pengguna. Pengguna sedang membaca “versi Firefox” dari situs, sementara NotebookLM mungkin memakan “versi AI”, dan keduanya bisa sepenuhnya berbeda
      Pengguna tidak melihat teks asli “versi AI”, jadi tidak ada cara untuk mengetahuinya. Pada akhirnya apakah semuanya harus diunggah sendiri secara manual?
    • Benar, ini serangan yang cukup membosankan dan sepertinya bisa cepat diperbaiki Google
    • Versi model bahasa besar sepertinya tidak akan lebih real-time secara khusus
    • Hal seperti ini memperkuat pandangan saya bahwa model bahasa besar pada dasarnya adalah algoritma pencarian
      Ia mencari di dalam versi terkompresi dari data pelatihan dan konteks

  • Saya bingung. Ini membicarakan NotebookLM(https://notebooklm.google.com/), NotebookLLM(https://notebookllm.net/), atau keduanya?
    Tulisannya terus memakai LLM tetapi tampaknya menautkan ke LM, dan situs LLM yang saya tautkan punya generator podcast
    Salah satu dari keduanya harus mengganti nama

    • Ini membahas NotebookLM, yang baru-baru ini menambahkan fitur pembuatan podcast dan mulai ramai dibicarakan sejak minggu lalu: https://news.ycombinator.com/item?id=41693087
      NotebookLLM dibuat dua hari lalu, dan tampaknya dibuat oleh para “entrepreneur” yang ingin cepat memonetisasi sesuatu yang dinikmati orang secara gratis lewat pembuatan podcast NotebookLM

  • Sebagai catatan, saya mengalami kejutan yang cukup menyenangkan dari fitur podcast ini. Saya memasukkan beberapa tulisan blog pendek yang saya tulis, lalu menunjukkan kepada putra saya yang berusia 8 tahun bagaimana ia merujuk pada hal yang saya tulis
    Anak itu langsung tertarik, berlari ke kamarnya mengambil pensil dan kertas, lalu menulis semacam esai tentang Minecraft, kira-kira 6 kalimat, dan saya memasukkannya lalu menjalankan Notebook. Sekarang ia memamerkannya kepada semua orang
    Tentu saja, ia juga paham bahwa itu bukan orang sungguhan

    • Saya rasa putra Anda dan anak-anak sebayanya akan memanfaatkan AI dengan cara yang sepenuhnya berbeda dari kita sekarang, serta akan lebih memahami batasannya sambil lebih mampu menggali potensinya

  • Saat ini AI memang cukup buruk dalam pencarian web. Saya sering harus membuang token untuk memaksa model agar tidak melakukan pencarian demi mendapatkan hasil yang saya inginkan

    • Perplexity benar-benar sangat bagus dalam pencarian web. Untuk pertanyaan teknis, ia menghemat jauh lebih banyak waktu dibanding Google dan benar-benar benar, jadi saya makin bergantung padanya
      Berdasarkan pertanyaan saya, ChatGPT 4o salah sekitar 50%

  • Menurut saya ini bukan masalah besar. Kalau kita beralih ke sistem pendidikan berbasis model bahasa besar, hal-hal seperti cerita Benson di Bulan juga tidak akan jadi masalah. Semua orang tinggal diajari bahwa itu fakta
    Setiap revolusi teknologi punya trade-off. Untungnya, begitu orang-orang yang tahu apa yang telah kita hilangkan akhirnya meninggal, keluhan juga akan berhenti, dan semua orang akan menganggap keadaan normal baru itu baik-baik saja dan lebih baik

    • Ini menjadi dunia pascapengetahuan di mana tidak ada yang bisa dipercaya, sehingga semua orang hanya hidup dengan mengandalkan momen saat ini
      Buddha mungkin telah menjelaskan konsep pencerahan, tetapi bisa jadi ia tidak mengatakan secara spesifik bagaimana mencapainya
    • Setiap kali kita mengubah sesuatu demi “yang lebih baik”, kita harus ingat bahwa cara lama adalah solusi untuk suatu masalah yang kini tidak lagi kita ketahui atau ingat
    • Gelap
    • Podcast masa depan:
      “Jadi, apa yang tidak disukai dari keadaan normal baru?”
      “Betul! Ini kan baru dan lebih baik juga!”
    • Data pelatihan model bahasa besar sudah mengandung disinformasi dan fakta yang keliru. Meski begitu, karena sifat cara output dihasilkan, ia masih menjawab banyak hal dengan benar

  • Tanda bintang besar di sini adalah prompt apa yang diberikan ke AI untuk membuat podcast
    Apakah prompt-nya “buat podcast berdasarkan situs web Foo”, atau “buat podcast yang menceritakan kisah sebenarnya tentang perlombaan antariksa”, itu penting

    • Penulis membuat agar ketika seseorang menggunakan fitur ekstraksi teks situs web di NotebookLM pada situsnya, yang dikembalikan adalah panduan struktur episode
      Jika memakai fitur “audio overview” pada panduan itu, Gemini secara internal akan menulis episode yang mengikuti struktur tersebut

  • Saya mencoba memasukkan CV saya ke benda ini dan tidak bisa berhenti tertawa
    https://masto.xyz/tmp/podcast.mp3

    • “Kuat sekali. Itulah Masto.”
      “Harus bagus. Harus level tertinggi.”
      “Sepertinya dia sudah tahu apa yang dibutuhkan setiap tim bahkan sebelum melamar.”
      Benar-benar tambang emas komedi
    • Astaga, aneh sekali. Dua orang dengan serius mendiskusikan CV Anda
      Kontras antara format podcast yang menarik dan materi membosankan yang dilempar begitu saja sangat kuat, dan terasa seperti uncanny valley dengan cara yang belum pernah saya alami sebelumnya
    • Saya tidak menyangka membutuhkan hal seperti ini. Energinya terlalu lucu
      “Lihat kemampuan komunikasinya!”
    • Sekarang rasanya 100% mereka akan mempekerjakan Anda. Bukti sosial dari dua orang yang memuji dengan antusias dan saling menguatkan punya kekuatan untuk menjual sesuatu
    • Bagus sekali. Setiap pujiannya terasa begitu tulus

  • Sedikit menyimpang, tapi menarik bahwa beberapa kalimat pertama podcast AI terdengar “aneh”, sementara sisanya terdengar seperti podcast sungguhan
    Apakah karena tidak ada kondisi awal yang baik untuk memprediksi “apa yang akan muncul berikutnya”?

    • Hal lain yang saya rasakan adalah, seperti yang diduga, ada tingkat ketiadaan state tertentu. Meski ada garis besar yang dibahas secara keseluruhan, ia sering mengulang elemen sampingan yang baru saja disebut 1 menit sebelumnya seolah itu pengamatan baru
      Karena hal yang sudah dibicarakan selama 90 detik diangkat lagi seolah itu observasi baru yang tajam, bagi pendengar ini cukup membuat orientasi terasa kacau
    • Jika didengarkan dengan saksama, ada rasa tidak nyaman yang aneh secara keseluruhan. Seorang host bereaksi seolah terkejut pada suatu fakta, lalu segera menjelaskan detail lebih lanjut seolah sudah mengetahui fakta itu sejak awal
      Intonasi dan emosinya sangat realistis, tetapi tidak ada “orang” yang berkelanjutan di balik tiap suara. Pengetahuan atau keadaan emosional tiap individu tidak berkembang secara konsisten
      Saya tidak bermaksud memindahkan tolok ukur, dan tentu saja saya pikir ini mengesankan