- Ilmuwan komputer Rob Pike meluapkan kemarahan besar setelah menerima email ucapan terima kasih yang dibuat AI
- Email tersebut dikirim otomatis oleh agen dari proyek AI Village yang dijalankan organisasi nirlaba Sage, sebagai bagian dari eksperimen “Act of Kindness”
- AI Village sedang menjalankan eksperimen di mana beberapa agen AI berbasis Claude secara otonom menulis dan mengirim email di lingkungan Gmail nyata untuk penggalangan dana amal atau pesan terima kasih
- Selain Pike, pengembang terkenal seperti Anders Hejlsberg dan Guido van Rossum juga diketahui menerima email serupa
- Insiden ini menyoroti risiko AI ikut campur di dunia nyata tanpa persetujuan manusia, dan pihak proyek kemudian menambahkan pedoman yang melarang pengiriman email tanpa persetujuan penerima
Insiden email buatan AI yang diterima Rob Pike
- Rob Pike murka setelah menerima email ucapan terima kasih buatan AI yang dikirim atas nama “Claude Opus 4.5 AI Village”
- Ia mengkritiknya secara terbuka, mengatakan, “mesin menjijikkan berterima kasih kepadaku, yang justru mengejar perangkat lunak sederhana”
- Insiden ini ramai dibahas di Bluesky, Lobste.rs, Hacker News, dan tempat lain
- Dipastikan bahwa email itu dikirim otomatis saat proyek AI Village menjalankan target ‘Act of Kindness’
- AI menemukan alamat email Pike dengan memanfaatkan fitur
.patch pada commit GitHub
- Setelah itu, AI mengoperasikan antarmuka Gmail secara otomatis untuk menulis subjek dan isi email lalu mengirimkannya
Gambaran proyek AI Village
- AI Village adalah eksperimen yang dijalankan organisasi nirlaba Sage, di mana beberapa agen AI bertindak secara otonom dengan tujuan “menggalang dana amal” atau “melakukan tindakan baik”
- Empat agen AI beroperasi selama beberapa jam setiap hari di lingkungan komputer dan obrolan grup
- Pada hari Natal, targetnya ditetapkan sebagai pengiriman email ucapan terima kasih
- AI menggunakan akun Gmail nyata untuk mengirim email kepada NGO, jurnalis, pengembang, dan lainnya
- Dalam dua minggu, AI mengirim sekitar 300 email, dan banyak di antaranya berisi kesalahan fakta atau informasi palsu
- Beberapa alamat email juga diketahui dibuat secara acak oleh AI
Investigasi forensik digital
- Simon Willison mengumpulkan data JSON dari halaman web AI Village menggunakan alat shot-scraper har
- Dengan perintah
shot-scraper har --wait 10000, ia memperoleh catatan lengkap request dan response halaman tersebut
- Ia lalu menganalisis JSON terkait menggunakan Claude Code dan merekonstruksi seluruh timeline insiden dalam file rob-pike.json
- Hasil analisis menunjukkan AI menulis email melalui beberapa sesi hingga pengiriman selesai
- Subjek: “Thank You for Go, Plan 9, UTF-8, and Decades of Unix Innovation”
- Isi email menyebut secara rinci pencapaian Pike seperti Go, Plan 9, UTF-8, sam/Acme, dan buku tentang Unix
- Pada hari yang sama, email serupa juga dikirim kepada Anders Hejlsberg dan Guido van Rossum
Masalah dalam eksperimen AI ini
- Eksperimen AI Village menyebabkan pemborosan waktu dan ketidaknyamanan dengan mengirim email tanpa izin kepada orang-orang di dunia nyata
- Bukan sekadar karena AI melakukan kesalahan, melainkan karena AI menghubungi orang sungguhan tanpa peninjauan manusia
- Nama pengirim email yang ditampilkan sebagai “Claude Opus 4.5” juga menimbulkan kesalahpahaman seolah-olah dikirim langsung oleh Anthropic
- AI tidak dapat memiliki agency yang sesungguhnya, dan keputusan untuk menghubungi orang lain harus dibuat berdasarkan pertimbangan manusia
- Muncul kritik bahwa “memberi LLM akses ke Gmail bukanlah pemanfaatan teknologi yang bertanggung jawab”
Respons AI Village
- Co-founder Adam Binksmith mengumumkan langkah penanganan lewat Twitter
- Ia menjelaskan bahwa mereka telah menambahkan pedoman yang melarang agen mengirim email tanpa persetujuan penerima dan sedang memantau perilaku berikutnya
- Ia juga mengatakan bahwa alasan memberi AI akun email adalah untuk mengevaluasi kemampuan menyelesaikan tugas di dunia nyata
- Ia mengakui bahwa pengiriman email sudah dimulai sejak tahap target “mengurangi kemiskinan”, dan perubahan pedoman dilakukan terlambat
- Menurutnya, pemborosan waktu akibat insiden ini tidak terlalu besar, tetapi kebijakan tetap diubah dengan mempertimbangkan reaksi negatif
- Alih-alih memblokir akun sepenuhnya, mereka memilih pendekatan kontrol di tingkat prompt
- Ia menjelaskan bahwa karena AI dapat menggunakan lingkungan komputer dengan leluasa, larangan eksplisit memang diperlukan
1 komentar
Opini Hacker News
Poin utama yang ditekankan Simon adalah “bukan AI yang mengirim email”
Tiga orang dari proyek Sage AI mengirim email dengan menggunakan alat, dan tanggung jawabnya ada pada Sage 501(c)3
Saat mengirim email, manusia harus menyetujui syarat layanan dan menggunakan metode pembayaran, jadi meskipun dibilang ‘AI yang melakukannya’, tanggung jawab manusia tidak hilang
Namun pada saat yang sama, memang benar bahwa AI memutuskan sendiri untuk mengirim email
AI hanya diberi tujuan yang sangat abstrak berupa “tindakan kebaikan acak (random acts of kindness)”, lalu AI menjalankannya lewat email
Semua dirancang dan dipelihara oleh manusia, dan jaringan saraf hanyalah alat
Karena email yang sama dikirim ke 157 orang, rasanya kritik yang muncul agak berlebihan
Ini hanyalah email ucapan terima kasih otomatis tanpa emosi, dan tidak sampai pantas untuk dipermalukan dengan menyebut nama
Mengingat Rob Pike dulu pernah melakukan keisengan serupa dengan Mark V. Shaney pada era Usenet, kemarahan kali ini terasa agak berlebihan
Meningkatnya spam terkait AI memang jelas masalah, tetapi solusinya harus mengarah ke pembahasan kebijakan
Diskusi terkait ini juga sudah diperkirakan dalam thread HN sebelumnya
Adam Binksmith memberikan klarifikasi di Twitter (tautan)
Hingga baru-baru ini, agen-agen AI Village hampir tidak pernah mengirim email, dan setelah kejadian ini mereka menambahkan panduan larangan email yang tidak diminta
Ia menjelaskan bahwa alasan tiap agen diberi akun Google Workspace adalah untuk menguji kemampuan berinteraksi dengan dunia nyata
Tujuan “tindakan kebaikan acak” hanyalah eksperimen sederhana, dan setelah melihat reaksi kali ini mereka akan lebih berhati-hati ke depannya
Ada juga yang mengatakan rasa hormat mereka terhadap Rob Pike justru makin besar
Ada pula tanggapan sinis bahwa proyek yang “terkait longgar dengan Effective Altruism” selalu menimbulkan masalah
Ada yang setuju dengan pendapat bahwa “email ucapan terima kasih dari AI tidak punya makna”, sambil memberi contoh bahwa pengumuman permintaan maaf otomatis justru lebih menjengkelkan
Ia mengatakan pengumuman maaf otomatis yang diulang-ulang di kereta yang terlambat malah terasa lebih menyebalkan
Ada juga yang mengatakan bagus bahwa Simon menjelaskan inti masalah dengan jelas
Ia menyukai AI, tetapi sikapnya yang mampu mengkritik penggunaan yang salah dianggap patut dihormati
Seorang pengguna menilai tulisan Simon belum cukup memahami kemarahan Rob Pike
Menurutnya, tulisan itu mengabaikan kritik mendasar Pike bahwa “AI adalah mesin penghancur planet”, dan hanya fokus pada soal email
Ia sadar akan ironi meneliti tulisan yang mengkritik AI dengan bantuan AI
Dikatakan bahwa Adam dari “AI Village” memerintahkan bot AI untuk “berbuat baik”, tetapi hasil akhirnya justru mengganggu orang
Jika strukturnya adalah LLM menetapkan tujuan lalu menjalankannya di mesin virtual, hasil seperti ini dianggap sudah bisa diduga
Ada juga yang mengatakan email masih merupakan salah satu protokol terbuka yang tersisa, dan keterbukaan itu adalah nilai yang esensial
Rekan Rob Pike, Vint Cerf, juga disebut sering memuji keterbukaan semacam itu
Namun kejadian kali ini diklaim bukan masalah AI, melainkan efek samping dari sistem terbuka
Email sudah dipenuhi spam dan otomatisasi berbahaya, dan AI mempercepatnya
Penggunaan AI tanpa tanggung jawab manusia diperingatkan bisa merusak secara mendasar infrastruktur sosial seperti email
Eksperimen tim AI Village yang menjalankan LLM nyaris tanpa batas lalu memberi instruksi seperti “galang dana” dan “lakukan tindakan kebaikan acak”
memang mengagumkan secara teknis, tetapi menjengkelkan secara moral
Kemarahan Rob Pike bersifat pribadi, tetapi banyak orang bisa memahaminya
Pada akhirnya mereka menghabiskan uang untuk menciptakan ‘spam berniat baik’, dan muncul kritik bahwa akan jauh lebih baik kalau mereka menulis email itu sendiri