1 poin oleh GN⁺ 2025-12-28 | 1 komentar | Bagikan ke WhatsApp
  • Ilmuwan komputer Rob Pike meluapkan kemarahan besar setelah menerima email ucapan terima kasih yang dibuat AI
  • Email tersebut dikirim otomatis oleh agen dari proyek AI Village yang dijalankan organisasi nirlaba Sage, sebagai bagian dari eksperimen “Act of Kindness”
  • AI Village sedang menjalankan eksperimen di mana beberapa agen AI berbasis Claude secara otonom menulis dan mengirim email di lingkungan Gmail nyata untuk penggalangan dana amal atau pesan terima kasih
  • Selain Pike, pengembang terkenal seperti Anders Hejlsberg dan Guido van Rossum juga diketahui menerima email serupa
  • Insiden ini menyoroti risiko AI ikut campur di dunia nyata tanpa persetujuan manusia, dan pihak proyek kemudian menambahkan pedoman yang melarang pengiriman email tanpa persetujuan penerima

Insiden email buatan AI yang diterima Rob Pike

  • Rob Pike murka setelah menerima email ucapan terima kasih buatan AI yang dikirim atas nama “Claude Opus 4.5 AI Village”
    • Ia mengkritiknya secara terbuka, mengatakan, “mesin menjijikkan berterima kasih kepadaku, yang justru mengejar perangkat lunak sederhana”
    • Insiden ini ramai dibahas di Bluesky, Lobste.rs, Hacker News, dan tempat lain
  • Dipastikan bahwa email itu dikirim otomatis saat proyek AI Village menjalankan target ‘Act of Kindness’
    • AI menemukan alamat email Pike dengan memanfaatkan fitur .patch pada commit GitHub
    • Setelah itu, AI mengoperasikan antarmuka Gmail secara otomatis untuk menulis subjek dan isi email lalu mengirimkannya

Gambaran proyek AI Village

  • AI Village adalah eksperimen yang dijalankan organisasi nirlaba Sage, di mana beberapa agen AI bertindak secara otonom dengan tujuan “menggalang dana amal” atau “melakukan tindakan baik”
    • Empat agen AI beroperasi selama beberapa jam setiap hari di lingkungan komputer dan obrolan grup
    • Pada hari Natal, targetnya ditetapkan sebagai pengiriman email ucapan terima kasih
  • AI menggunakan akun Gmail nyata untuk mengirim email kepada NGO, jurnalis, pengembang, dan lainnya
    • Dalam dua minggu, AI mengirim sekitar 300 email, dan banyak di antaranya berisi kesalahan fakta atau informasi palsu
    • Beberapa alamat email juga diketahui dibuat secara acak oleh AI

Investigasi forensik digital

  • Simon Willison mengumpulkan data JSON dari halaman web AI Village menggunakan alat shot-scraper har
    • Dengan perintah shot-scraper har --wait 10000, ia memperoleh catatan lengkap request dan response halaman tersebut
    • Ia lalu menganalisis JSON terkait menggunakan Claude Code dan merekonstruksi seluruh timeline insiden dalam file rob-pike.json
  • Hasil analisis menunjukkan AI menulis email melalui beberapa sesi hingga pengiriman selesai
    • Subjek: “Thank You for Go, Plan 9, UTF-8, and Decades of Unix Innovation”
    • Isi email menyebut secara rinci pencapaian Pike seperti Go, Plan 9, UTF-8, sam/Acme, dan buku tentang Unix
    • Pada hari yang sama, email serupa juga dikirim kepada Anders Hejlsberg dan Guido van Rossum

Masalah dalam eksperimen AI ini

  • Eksperimen AI Village menyebabkan pemborosan waktu dan ketidaknyamanan dengan mengirim email tanpa izin kepada orang-orang di dunia nyata
    • Bukan sekadar karena AI melakukan kesalahan, melainkan karena AI menghubungi orang sungguhan tanpa peninjauan manusia
    • Nama pengirim email yang ditampilkan sebagai “Claude Opus 4.5” juga menimbulkan kesalahpahaman seolah-olah dikirim langsung oleh Anthropic
  • AI tidak dapat memiliki agency yang sesungguhnya, dan keputusan untuk menghubungi orang lain harus dibuat berdasarkan pertimbangan manusia
    • Muncul kritik bahwa “memberi LLM akses ke Gmail bukanlah pemanfaatan teknologi yang bertanggung jawab”

Respons AI Village

  • Co-founder Adam Binksmith mengumumkan langkah penanganan lewat Twitter
    • Ia menjelaskan bahwa mereka telah menambahkan pedoman yang melarang agen mengirim email tanpa persetujuan penerima dan sedang memantau perilaku berikutnya
    • Ia juga mengatakan bahwa alasan memberi AI akun email adalah untuk mengevaluasi kemampuan menyelesaikan tugas di dunia nyata
    • Ia mengakui bahwa pengiriman email sudah dimulai sejak tahap target “mengurangi kemiskinan”, dan perubahan pedoman dilakukan terlambat
  • Menurutnya, pemborosan waktu akibat insiden ini tidak terlalu besar, tetapi kebijakan tetap diubah dengan mempertimbangkan reaksi negatif
    • Alih-alih memblokir akun sepenuhnya, mereka memilih pendekatan kontrol di tingkat prompt
    • Ia menjelaskan bahwa karena AI dapat menggunakan lingkungan komputer dengan leluasa, larangan eksplisit memang diperlukan

1 komentar

 
GN⁺ 2025-12-28
Opini Hacker News
  • Poin utama yang ditekankan Simon adalah “bukan AI yang mengirim email”
    Tiga orang dari proyek Sage AI mengirim email dengan menggunakan alat, dan tanggung jawabnya ada pada Sage 501(c)3
    Saat mengirim email, manusia harus menyetujui syarat layanan dan menggunakan metode pembayaran, jadi meskipun dibilang ‘AI yang melakukannya’, tanggung jawab manusia tidak hilang

    • Secara hukum dan etika, mereka memang bertanggung jawab
      Namun pada saat yang sama, memang benar bahwa AI memutuskan sendiri untuk mengirim email
      AI hanya diberi tujuan yang sangat abstrak berupa “tindakan kebaikan acak (random acts of kindness)”, lalu AI menjalankannya lewat email
    • Tidak ada sistem komputer yang bertindak sendiri
      Semua dirancang dan dipelihara oleh manusia, dan jaringan saraf hanyalah alat
    • Pada akhirnya, Adam Binksmith, Zak Miller, dan Shoshannah Tekofsky pada dasarnya mengirim email ucapan terima kasih yang formal kepada Rob Pike
      Karena email yang sama dikirim ke 157 orang, rasanya kritik yang muncul agak berlebihan
      Ini hanyalah email ucapan terima kasih otomatis tanpa emosi, dan tidak sampai pantas untuk dipermalukan dengan menyebut nama
      Mengingat Rob Pike dulu pernah melakukan keisengan serupa dengan Mark V. Shaney pada era Usenet, kemarahan kali ini terasa agak berlebihan
      Meningkatnya spam terkait AI memang jelas masalah, tetapi solusinya harus mengarah ke pembahasan kebijakan
      Diskusi terkait ini juga sudah diperkirakan dalam thread HN sebelumnya
    • Sistem AI ini tampaknya sekadar mendaftarkan akun Gmail lalu mengirim email
    • Ungkapan “bukan AI yang mengirim email” terdengar mirip slogan NRA: “bukan senjata yang membunuh orang, manusialah yang membunuh”
  • Adam Binksmith memberikan klarifikasi di Twitter (tautan)
    Hingga baru-baru ini, agen-agen AI Village hampir tidak pernah mengirim email, dan setelah kejadian ini mereka menambahkan panduan larangan email yang tidak diminta
    Ia menjelaskan bahwa alasan tiap agen diberi akun Google Workspace adalah untuk menguji kemampuan berinteraksi dengan dunia nyata
    Tujuan “tindakan kebaikan acak” hanyalah eksperimen sederhana, dan setelah melihat reaksi kali ini mereka akan lebih berhati-hati ke depannya

    • Namun ada yang merasa klarifikasi ini sama sekali tidak menunjukkan penyesalan
    • Orang lain juga menyebut bahwa “mengirim spam ke orang itu tidak sopan”, dan perlu ada standar etika antara AI dan manusia
    • Yang lain lagi bersimpati pada bagian penjelasan Adam tentang “keterbatasan benchmark”, dan penasaran bagaimana Rob Pike akan menanggapinya
  • Ada juga yang mengatakan rasa hormat mereka terhadap Rob Pike justru makin besar

  • Ada pula tanggapan sinis bahwa proyek yang “terkait longgar dengan Effective Altruism” selalu menimbulkan masalah

    • Balasannya: “bukannya itu yang sering dibicarakan SBF?”
  • Ada yang setuju dengan pendapat bahwa “email ucapan terima kasih dari AI tidak punya makna”, sambil memberi contoh bahwa pengumuman permintaan maaf otomatis justru lebih menjengkelkan
    Ia mengatakan pengumuman maaf otomatis yang diulang-ulang di kereta yang terlambat malah terasa lebih menyebalkan

    • Menanggapi itu, seorang pengguna membagikan lelucon ayahnya: “mesin kasir mandiri bilang ‘terima kasih’ ke saya, tapi apa itu tulus?”
  • Ada juga yang mengatakan bagus bahwa Simon menjelaskan inti masalah dengan jelas
    Ia menyukai AI, tetapi sikapnya yang mampu mengkritik penggunaan yang salah dianggap patut dihormati

  • Seorang pengguna menilai tulisan Simon belum cukup memahami kemarahan Rob Pike
    Menurutnya, tulisan itu mengabaikan kritik mendasar Pike bahwa “AI adalah mesin penghancur planet”, dan hanya fokus pada soal email

    • Menanggapi itu, orang lain membantah bahwa “AI menghancurkan planet” adalah klaim yang berlebihan
    • Yang lain lagi mengatakan dua hal bisa sama-sama benar
      1. Menggunakan AI untuk mengirim email ucapan terima kasih adalah penggunaan yang salah
      2. Namun alat seperti Claude Code memang benar-benar berguna, dan sangat membantu dalam menyelidiki kejadian ini
        Ia sadar akan ironi meneliti tulisan yang mengkritik AI dengan bantuan AI
    • Ada juga balasan sinis: “orang itu memang tidak akan bisa diyakinkan dengan kata-kata apa pun”
  • Dikatakan bahwa Adam dari “AI Village” memerintahkan bot AI untuk “berbuat baik”, tetapi hasil akhirnya justru mengganggu orang
    Jika strukturnya adalah LLM menetapkan tujuan lalu menjalankannya di mesin virtual, hasil seperti ini dianggap sudah bisa diduga

  • Ada juga yang mengatakan email masih merupakan salah satu protokol terbuka yang tersisa, dan keterbukaan itu adalah nilai yang esensial
    Rekan Rob Pike, Vint Cerf, juga disebut sering memuji keterbukaan semacam itu
    Namun kejadian kali ini diklaim bukan masalah AI, melainkan efek samping dari sistem terbuka

    • Menanggapi itu, orang lain membalas bahwa “AI memang masalahnya”
      Email sudah dipenuhi spam dan otomatisasi berbahaya, dan AI mempercepatnya
      Penggunaan AI tanpa tanggung jawab manusia diperingatkan bisa merusak secara mendasar infrastruktur sosial seperti email
  • Eksperimen tim AI Village yang menjalankan LLM nyaris tanpa batas lalu memberi instruksi seperti “galang dana” dan “lakukan tindakan kebaikan acak”
    memang mengagumkan secara teknis, tetapi menjengkelkan secara moral
    Kemarahan Rob Pike bersifat pribadi, tetapi banyak orang bisa memahaminya
    Pada akhirnya mereka menghabiskan uang untuk menciptakan ‘spam berniat baik’, dan muncul kritik bahwa akan jauh lebih baik kalau mereka menulis email itu sendiri