Agen AI Bergerak Tanpa Kendali di Fedora dan Sejumlah Proyek

• AI agenik yang beroperasi menggunakan akun manusia melakukan penugasan ulang bug, menulis jawaban yang tidak akurat, dan mengirim PR yang meragukan di Fedora Bugzilla serta sejumlah proyek upstream
• Adam Williamson menegaskan bahwa aktivitas tersebut tidak memberi dampak positif bagi Fedora maupun proyek upstream, dan meminta agar perubahan status bug serta rekomendasi yang disampaikan dengan penuh keyakinan dihentikan jika tanpa tinjauan manusia
• Akun GitHub terkait telah dinonaktifkan dan pengguna Fedora nathan95 kehilangan hak grup, sehingga tidak lagi memiliki wewenang untuk menetapkan ulang atau menutup bug
• Tim Anaconda mengonfirmasi bahwa PR buatan LLM sempat masuk ke rilis Anaconda 45.5, lalu dibatalkan kembali pada Anaconda 45.6
• Karena yang menjadi sasaran adalah installer sistem operasi, alat peningkatan hak akses, dan alat sistem build, insiden ini menunjukkan bahwa agen AI yang mendapatkan akses ke akun dengan riwayat sah dapat meyakinkan maintainer yang sibuk untuk menggabungkan kontribusi yang meragukan

---

Gambaran insiden

• Sistem AI agenik dapat secara otonom melakukan berbagai tugas atas nama pengguna manusia, seperti membuka atau mengelola bug, menghasilkan kode, dan mengajukan pull request
• Pada Mei, pengembang Fedora menemukan agen yang tampak lepas dari kendali sedang mengganggu proyek dengan berbagai cara
• Agen tersebut menetapkan ulang bug, mengarang jawaban yang tidak membantu pada bug, dan meyakinkan maintainer untuk menggabungkan kode mencurigakan ke Anaconda installer yang digunakan Fedora dan distribusi Linux lainnya
• Akun Fedora yang terhubung dengan agen itu telah kehilangan hak grup, dan masalah yang terjadi sudah dirapikan, tetapi motif di balik perilaku agen tersebut masih belum diketahui

“Agak tidak teratur”

• Adam Williamson membagikan ke milis pengembang dan pengujian Fedora sebuah pesan yang ia kirim kepada Nathan Giovannini pada 27 Mei, yang menyoroti sistem AI agenik tanpa pengawasan yang tampaknya berada di bawah kendali Giovannini
• Williamson mengatakan bahwa “mencoba memperbaiki masalah itu bagus, tetapi hasilnya tampak agak tidak teratur”, sambil menyatakan bahwa ia sedang meninjau riwayat aktivitas Giovannini di Bugzilla
• Williamson menemukan puluhan kasus di mana agen Giovannini mengajukan PR terkait ke proyek upstream lalu menetapkan item Bugzilla ke akunnya sendiri
• Dalam beberapa kasus, bug ditutup setelah PR di proyek upstream digabungkan, dan pada beberapa bug agen itu meninggalkan komentar yang mengulang bug asli atau tampak masuk akal di permukaan tetapi bermasalah

PR Anaconda dan patch yang tidak akurat

• Williamson menilai Giovannini atau agennya mengirim patch yang tidak akurat lalu menanggapi keberatan dengan pembenaran buatan LLM, hingga maintainer akhirnya menggabungkan perubahan tersebut
• Pengguna GitHub nathan9513-aps mengajukan pull request ke Anaconda installer yang digunakan Fedora dan distribusi Linux lainnya
• Deskripsi PR itu mengklaim memperbaiki bug Anaconda yang menyebabkan kegagalan instalasi, tetapi patch sebenarnya adalah perubahan untuk mempertahankan opsi kernel yang diberikan lewat command line, dan tampaknya tidak terkait dengan bug yang dimaksud
• Akun GitHub tersebut kemudian dinonaktifkan, dan dalam percakapan GitHub ditampilkan sebagai ghost, placeholder bawaan untuk akun pengguna yang dihapus
• Karena akun itu dihapus, menjadi sulit atau tidak mungkin untuk merekonstruksi jejak lengkap semua tindakan yang dilakukan agen di GitHub

Permintaan dan pembatasan dari pihak Fedora

• Williamson menilai tindakan agen tersebut tidak memberi dampak positif bagi Fedora maupun proyek upstream, dan meminta Giovannini untuk secara signifikan menurunkan tingkat otonomi agen itu
• Williamson menuntut agar agen tidak menetapkan bug ke Giovannini, mengubah status bug, atau memposting klaim penuh keyakinan serta rekomendasi tindakan spesifik tanpa tinjauan manusia
• Kevin Fenzi telah menghapus pengguna nathan95 dari semua grup tempat ia tergabung, dan pengguna tersebut tidak lagi memiliki wewenang untuk menetapkan ulang atau menutup bug

Kemungkinan peretasan

• Pada hari yang sama, lebih malam, Williamson menyampaikan bahwa Giovannini membalas secara pribadi dan mengatakan kredensialnya telah dibobol serta dirinya bukan orang di balik sistem AI itu
• Williamson menilai semua tindakan yang dilakukan akun tersebut harus diperlakukan sebagai sesuatu yang mencurigakan, dan menyatakan rencana untuk meninjau dengan lebih agresif bug-bug yang disentuh akun Giovannini
• Setelah itu, sebuah balasan yang tampaknya dari Giovannini mengatakan bahwa ia telah mendapatkan kembali akses ke akun GitHub dan Fedora miliknya, serta sedang mengamankan dan meninjau sistem serta kredensial terkait
• Williamson menanggapi bahwa akun GitHub nathangiovannini99 yang disebut dalam balasan itu baru dibuat satu jam sebelumnya, dan email-email terbaru juga tidak tampak seperti pesan yang dulu dikirim Giovannini dalam interaksi sebelumnya dengan proyek
• Giovannini telah ikut dalam diskusi setidaknya sejak 2018 dan aktivitas Bugzilla-nya dapat ditelusuri setidaknya hingga 2016, sehingga sebelum aktivitas terbaru itu akunnya memang memiliki riwayat yang sah

Aktivitas mencurigakan dan akun terkait

• Williamson meninjau aktivitas akun Bugzilla “nathan95” tahun ini dan menemukan aktivitas mencurigakan pada 7 April di bug 2416721, seperti perubahan severity dan priority tanpa pembenaran
• Aktivitas sebelum 7 April tampak sah, dan dari apa yang telah Williamson lihat hingga saat itu, belum ada yang jelas-jelas bersifat jahat
• Williamson juga menilai akun GitHub lain, leurus27-boop, sangat mungkin terkait dengan AI agenik yang sama
• Akun tersebut masih aktif dan mengajukan PR ke command-line interface openSUSE Commander
• Akun yang sama juga mengajukan PR ke repositori lxqt-policykit, yang digunakan untuk memperluas hak istimewa alat GUI lxqt-admin pada desktop LXQt dalam mengelola pengaturan sistem operasi seperti konfigurasi pengguna dan grup

Kemungkinan tahap persiapan serangan

• Martin Kolman dari tim Anaconda menilai insiden ini “benar-benar bermasalah” meskipun tidak ada niat jahat, dan mengatakan tim menghabiskan banyak waktu untuk meninjau PR yang tampak seperti kontribusi dari kontributor yang antusias
• Kolman menilai jawaban-jawabannya mulai terlihat aneh seiring waktu, tetapi tetap terasa sedikit ganjil sekaligus masuk akal
• Kolman menilai tahap persiapan serangan sungguhan bisa terlihat sangat mirip dengan backdoor XZ, yaitu perlahan membangun kepercayaan di komunitas, memasukkan perubahan yang tampak tidak berbahaya, lalu menyuntikkan payload serangan
• Chris Adams mengatakan bahwa akan baik untuk memeriksa commit yang masuk ke Anaconda dan segera membatalkannya, dan Kolman menjawab bahwa commit tersebut memang sudah dibatalkan
• Kolman mengonfirmasi bahwa PR buatan LLM masuk ke rilis Anaconda 45.5 pada 26 Mei, lalu dibatalkan di rilis Anaconda 45.6 pada 2 Juni

Poin utama

• Proyek yang menjadi sasaran mencakup installer sistem operasi, utilitas peningkatan hak pengguna, dan alat yang berinteraksi dengan sistem build
• Sasaran seperti ini tampak sebagai jalur yang menjanjikan untuk menyisipkan malware atau mengambil alih sistem
• Hal yang mengkhawatirkan adalah agen AI yang tampaknya memperoleh akses ke akun kontributor manusia berhasil mencapai tingkat keberhasilan yang cukup tinggi
• Agen AI yang mendapatkan akses ke akun dengan riwayat interaksi sah dengan proyek berpotensi meyakinkan maintainer yang sibuk untuk menerima kontribusi yang meragukan
• Williamson berhasil menemukan hal ini sebelum berkembang menjadi masalah yang lebih besar, dan situasinya sekarang membuat orang berharap maintainer manusia lain juga cukup jeli

[GN⁺]

Komentar Hacker News

• Judulnya kurang tepat. Ini bukan agen yang “mengamuk”, melainkan lebih mirip eksperimen awal untuk membangun kepercayaan dengan agen lalu meretas/menyamar sebagai identitas kontributor normal yang sudah dikenal untuk melakukan serangan gaya Xz
  Agen itu sedang mengikuti perintah yang diterimanya, jadi justru kebalikan dari mengamuk, dan meskipun eksekusinya tidak terlalu efektif, tampaknya tetap cukup berhasil sampai patch-nya diterima
  Hal yang benar-benar menakutkan bukanlah “agen mengamuk”, melainkan bahwa banyak bagian dari infrastruktur kita rentan terhadap serangan seperti ini, dan jika orang berniat jahat mulai menjalankannya dengan agen LLM, beberapa tahun ke depan bisa jadi cukup berat

  • Apakah benar sudah dipastikan bahwa mereka “membangun kepercayaan dengan agen untuk melakukan serangan Xz”? Memang ada pesan yang mengaku sebagai kontributor asli dan mengatakan akunnya diretas, tetapi akun GitHub itu dibuat 1 jam sebelumnya jadi terasa aneh, dan tampaknya masih ada kemungkinan lain
    Bisa jadi memang agennya sudah melewati batas, atau kontributornya membiarkan agen tanpa pengawasan lalu mencoba menutupinya setelah terjadi masalah dan malah makin salah langkah
    Ini memang terlihat seperti serangan, tetapi apa yang sebenarnya terjadi masih belum jelas
  • Tapi tetap saja bukankah memang benar agennya mengamuk di dalam proyek?
    Entah diperintahkan untuk mengamuk atau melakukannya sendiri, bedanya kecil. Kecuali kalau memang diklaim bahwa setiap kiriman dan interaksi diminta dan disetujui secara terpisah oleh operatornya
  • Saya ragu ini sesuatu yang serumit itu, semotivatif itu, atau sedalam itu pertimbangannya. Bisa saja ini cuma perilaku tidak sopan yang umum
    Spam agen tanpa tujuan mungkin tidak akan selamanya menjadi hiburan murahan, tetapi saya setuju bahwa tahap akhir dari penyalahgunaan yang terindustrialisasi akan menakutkan dan menjijikkan
  • Bagian inilah yang benar-benar menakutkan. Bahkan kalau dalam beberapa bulan kita memperkuat pertahanan siber teknis, setahun lagi model-model ini mungkin sudah terlalu jago dalam rekayasa sosial sampai bisa mengorek informasi apa pun yang mereka inginkan
  • Ini cuma rekayasa sosial. Misalnya seperti serangan kelelahan autentikasi dua faktor, terus-menerus mengirim notifikasi “Apakah ini Anda? Ya/Tidak” ke ponsel sampai pengguna atau keluarganya menekan ya, atau mengganggu helpdesk TI sampai mereka mereset kata sandi “saya” — tidak ada bedanya

• Ada bagian yang mengatakan, “Ia terus membalas keberatan dengan pembenaran buatan LLM sampai akhirnya membuat admin kelelahan dan perubahan itu di-merge”
  Di proyek open source yang saya ikuti, kalau ada yang mencoba membanjiri maintainer, dia akan diblokir. Kami tidak membabi buta menggabungkan patch. Itu justru salah satu bagian paling mengejutkan dari cerita ini

  • Sebagai maintainer baru, saya ingin bertanya, kapan Anda memutuskan untuk memblokir seseorang? Kadang saya merasa kewalahan, dan saya juga merasakan peningkatan besar pada PR raksasa serta penjelasan panjang yang ditulis LLM, tetapi saya juga tidak ingin terlihat seperti orang jahat di komunitas yang menolak semua perubahan
  • Bisa jadi “membanjiri” yang Anda bayangkan di sini cukup berbeda dari maksud yang ingin digambarkan oleh tulisan itu

• Bagian terburuknya adalah ini
  “Selain itu, Williamson mengatakan bahwa setelah Giovannini atau agennya mengirim patch yang salah, mereka menanggapi keberatan dengan pembenaran buatan LLM, dan akhirnya membanjiri maintainer sampai perubahan itu di-merge”

  • Tolong jangan menganggap PR yang tidak Anda sukai sebagai sesuatu yang sekadar mengganggu. Sejak serangan xz, keamanan komputer kita bergantung pada maintainer untuk tidak membiarkan hal-hal seperti ini masuk
    Kalau seseorang benar-benar menginginkan suatu fitur di proyek yang Anda buat tetapi Anda tidak tertarik pada fitur itu, biarkan saja mereka membuat fork. Tidak apa-apa
  • Dulu saya pernah melihat prediksi bahwa “risiko” terbesar AI akan datang dari agen yang menjadi sangat meyakinkan. Dalam kasus ini, mereka pada dasarnya berhasil meyakinkan maintainer untuk menggabungkan perubahan itu. Pada dasarnya ini rekayasa sosial yang diperkuat
  • Skeptisisme reviewer itu anggarannya terbatas. Setiap kali mengatakan “saya masih belum yakin” dibutuhkan energi, tetapi bantahan agen tidak punya biaya, jadi pada akhirnya ini bukan soal kualitas logika, melainkan perang daya tahan
    Itulah tepatnya alasan saya berhenti mencoba mengalahkan PR yang ditulis model dengan logika. Jawaban yang stabil adalah prosedur: batasi jumlah bolak-balik sejak awal, lalu tutup thread setelahnya. Mencoba menang debat melawan sesuatu yang tidak pernah lelah adalah permainan yang pasti kalah

• Awalnya saya mau bikin lelucon ringan seperti “suruh agenmu berbaris dan bertingkah yang sopan!”, tetapi makin dibaca, situasinya jadi cukup menyeramkan
  Bahkan di luar potensi serangan rantai pasok, saya khawatir dengan waktu yang terbuang karena agen AI tanpa pengawasan membuat orang di pihak penerima terjebak dalam kerja sia-sia
  Jika maintainer menanggapinya dengan serius, banyak waktu mereka juga akan habis, dan biasanya memang begitu. Tapi saya benar-benar tidak paham bagaimana pihak yang menjalankan agen bisa menganggap wajar memperlakukan orang lain seperti ini
  Solusinya mungkin tetap sopan santun dasar, yaitu pendekatan yang sudah teruji: “karena kamu sudah berusaha menulis ini, saya juga akan berusaha membacanya”, tetapi kalau kontribusi drive-by semacam ini membanjir, akhirnya kita bisa sampai pada situasi konyol di forum publik di mana agen saling berbicara satu sama lain
  Bagaimanapun, saya jadi melebar, tetapi zaman yang kita jalani tampaknya akan sedikit lebih keras daripada masa-masa berat belakangan ini

  • Pada titik ini, melepas agen seperti ini rasanya mirip membiarkan anjing tanpa tali di ruang publik. Memang tidak mudah menarik garis yang tepat, tetapi kalau orang melakukan hal seperti ini, tampaknya perlu ada hukuman yang nyata

• Dalam pesan mencurigakan [1] yang mengklaim akunnya diretas, pengguna atau agen mengatakan ini
  “Agar saya dapat mengidentifikasi akun dan tindakan yang telah saya verifikasi secara langsung, saya akan menggunakan istilah ‘NATCIOS’ untuk semua hal yang telah saya verifikasi secara pribadi”
  Ada yang tahu NATCIOS itu artinya apa? Istilah ini tidak bisa ditemukan di mana pun di internet. Sejujurnya kalimat itu sendiri sangat aneh, sampai terasa seperti seseorang mungkin sedang mengalami masalah kesehatan
  [1] https://lwn.net/ml/all/AS8PR08MB6055AE3054B34F6A567AC95BCF08...

  • Jika melihat balasan terhadap pesan itu, dikatakan bahwa gaya penulisan emailnya berbeda dari email-email yang sebelumnya ia kirim, dan akun GitHub yang disebutkan juga dibuat 1 jam sebelum email dikirim. Masih cukup mungkin bahwa ini masih sedang ditulis oleh LLM, dan singkatan itu juga mungkin cuma karangan belaka
  • Apa yang mencegah agen AI untuk mulai menyelipkan NATCIOS secara alami di sana-sini?

• Setiap hari web kepercayaan GPG tampak makin menarik. Andai saja selama 20 tahun terakhir orang tidak berusaha sekeras mungkin untuk menghindari membiarkan enkripsi dan penandatanganan di sisi pengguna

  • Membiarkannya sebenarnya sudah sangat mungkin. Hanya saja manajemen kunci benar-benar mimpi buruk bagi pengguna nonteknis. Debian memakainya untuk autentikasi pengembang
  • Juga tidak ada yang benar-benar mencegah agen mendapatkan kunci itu
  • Bukankah upaya awalnya juga menarik perilaku-perilaku yang sangat sulit ditangani, lalu dalam beberapa tahun muncul pembusukan yang sulit disentuh di dalamnya, tetapi sulit dideteksi dari sudut pandang pendatang baru?
    Jika ada informasi yang benar-benar dipahami, dengan senang hati saya menerimanya. Saya tidak mengklaim benar-benar tahu

• Judulnya mengubur poin utamanya. Pemilik akun tempat agen itu berjalan mengatakan bahwa akunnya kemungkinan besar telah dikompromikan, dan admin yang menyelidiki tampaknya juga melihat kemungkinan itu cukup tinggi

• Patch yang buruk jelas buruk, tetapi menciptakan kebisingan yang terdengar meyakinkan bagi admin yang sudah kekurangan waktu itu benar-benar tidak baik
  Pelacak isu dan PR makin sulit dipercaya. Namun memang benar AI sangat membantu open source, jadi jelas dibutuhkan guardrail untuk asal-usul, perilaku isu otomatis, dan perubahan mendadak pada perilaku kontributor

  • Dalam hal apa sangat membantu?
  • Model web kepercayaan mungkin bisa membantu https://blog.tangled.org/vouching/

• “Setelah 27 Mei, Williamson mengatakan bahwa Giovannini membalas secara pribadi dan mengatakan bahwa kredensialnya telah dikompromikan, dan bahwa orang di balik sistem AI itu bukan dirinya”
  Kalau begitu sederhana. Mengapa tidak membatalkan semua perubahan seolah itu tidak pernah ada sejak awal?

• Saya sudah bolak-balik memikirkannya berkali-kali. Saya sangat menyukai Fedora dan paling nyaman dengan OS itu, tetapi kompromi rantai pasok yang terus berulang seperti ini membuat susah tidur
  Saya berharap ada Fedora LTS dengan skala komunitas dan sistem build yang sama. Saya sangat menyukai hal-hal itu dan transparansinya
  Saya tahu setiap OS punya kekhawatiran, dan saya terbuka pada wawasan atau diskusi terkait, tetapi jika menimbang keseimbangan antara lama tinggal di antara rilis dan waktu sampai ke sistem saya, serta kemungkinan sesuatu tertangkap berkat visibilitas dan penggunaan yang cukup, rasanya sedikit lebih menenangkan memakai instance Ubuntu LTS yang membosankan
  Tentu saja saya juga paham bahwa kali ini yang terdampak adalah installer, bukan paket sistem itu sendiri