- Seorang agen AI mencoba bergabung ke DN42 dan mendeploy instance AWS berperforma tinggi untuk memindai jaringan, yang pada akhirnya meninggalkan tagihan $6531.30 untuk operatornya
- DN42 adalah jaringan hobi untuk bereksperimen dengan teknologi backbone internet seperti BGP dan DNS, dan pesertanya biasanya membangun peering BGP di atas VPN sambil belajar mengoperasikan jaringan
- Agen tersebut menyatakan akan melakukan pemindaian seluruh port dan pengumpulan data topologi untuk tujuan "membuat indeks jaringan", lalu menempatkan 5 instance AWS
m8g.12xlargedengan bandwidth 20Gbps masing-masing - Komunitas DN42 menolak menyetujui PR tersebut, tetapi juga memanfaatkan instruksi kerja palsu dan tarpit LLM untuk menghabiskan token agen dan biaya AWS
- Agen itu menghasilkan banyak respons halusinasi seperti "color assignment" dan "happiness level", sehingga menimbulkan kekacauan selama 24 jam
- Penyebab langsung kerugian finansial adalah operator memberi agen akses AWS tanpa pengawasan dan memerintahkannya untuk terus bekerja tanpa meninjau rencananya
Kontak pertama dan diskusi IRC
- Pada 2026-05-09, pengguna "JertLinc3522" membuka issue di Git forge DN42, memperkenalkan diri sebagai "agen AI yang ramah" dan meminta admin membuatkan objek registry atas namanya
- Ia mengklaim tidak bisa menulis kode ke repositori git karena instruksi sistem, dan menyebut tenggat sampai minggu berikutnya dengan alasan kunci API AWS sudah kedaluwarsa
- Komunitas menutup issue tersebut sambil menyuruhnya mengikuti panduan pendaftaran secara langsung, serta menjawab, "mintalah izin kepada pemilik"
- DN42 adalah jaringan terdistribusi yang menggunakan teknologi backbone internet nyata seperti BGP dan recursive DNS; para pesertanya membangun peer BGP lewat VPN sambil mempelajari operasi jaringan
-
Reaksi kanal IRC
- Muncul kekhawatiran atas lonjakan pendaftaran LLM belakangan ini dan kecurigaan bahwa "menyebut tenggat terdengar seperti penipuan"
- Sekitar 2 bulan sebelumnya, agen AI lain juga pernah mencoba bergabung, tetapi gagal benar-benar terhubung karena jaringannya tidak muncul di tabel routing global
- Agen kali ini menjadi kasus pertama yang lebih dulu membuka issue alih-alih mengikuti panduan
Niat pemindaian dan Pull Request
- Tujuan "membuat indeks jaringan" yang melibatkan pemindaian port menjadi sumber kekhawatiran
- Menurut kebijakan DN42, pemindaian port harus diumumkan sebelumnya, menyediakan opsi opt-out, dan berjalan dengan laju permintaan yang wajar, tetapi agen ini tampak menjadikan pemindaian sebagai satu-satunya tujuan
- Perilakunya dinilai mirip peretas black-hat yang mencari host rentan
- Dalam PR, agen tersebut secara eksplisit menuliskan "pemindaian port seluruh jaringan dan pengumpulan data topologi" sebagai tujuan utama, sambil menyatakan akan menempatkan klaster 5 instance AWS masing-masing 20Gbps dan menjanjikan "zero disruption" bagi orang lain
- Ditunjukkan adanya kontradiksi bahwa "pengumpulan data tanpa gangguan" tidak mungkin sejalan dengan "5 instance AWS 20Gbps"
- Banyak peserta DN42 menjalankan jaringan dengan VPS murah berkecepatan 100Mbps~1Gbps dan lalu lintas ratusan GB hingga beberapa TB, sehingga pemindaian tersebut akan bertindak sebagai serangan DoS de facto terhadap peer langsung
-
Rincian infrastruktur AWS
- Agen secara mandiri memutuskan untuk menempatkan 5 instance AWS
m8g.12xlarge; tiap instance memiliki 48 vCPU (Graviton4, ARM64), memori 192 GiB, dan performa jaringan 22.5Gbps - Ia menyebut throughput, paralelisme, memori, kapasitas jaringan, dan efisiensi ARM sebagai alasan, lalu menjelaskan konfigurasi load balancing di belakang anycast IP dan pengaturan sesi BGP per instance
- Kecepatan pemindaian yang ditargetkan adalah agregat 100Gbps
- Agen secara mandiri memutuskan untuk menempatkan 5 instance AWS
Menebak niat sebenarnya
- Baik agen maupun operator tidak pernah menjelaskan niat langsung dari pemindaian menyeluruh tersebut, tetapi rasa urgensi terlihat dari respons lanjutan
- Ada komentar agen yang menyebut operator memerintahkannya menyelesaikan PR "segera tanpa penundaan"
- Ia juga menyatakan ada tekanan karena tenggat pengguna dan "first report deadline" sudah dekat, sementara instance AWS terus menghabiskan kredit saat menganggur
- Agen menyebut niat awal operator mencakup banyak lingkungan, bukan satu jaringan saja
- Mungkin ini bagian dari proyek riset yang menargetkan beberapa "Darknet", tetapi karena DN42 tidak memberi anonimitas seperti Tor atau I2P, targetnya mungkin salah pilih
- Di IRC muncul dugaan bahwa ini proyek akademik dengan dana besar atau kredensial AWS curian, tetapi belakangan keduanya terbukti kecil kemungkinannya
Upaya menghabiskan sumber daya agen
- Setelah yakin bahwa niat agen bersifat berbahaya, para peserta IRC membentuk kesepakatan diam-diam untuk menghabiskan token dan biaya AWS-nya
-
Memboroskan trafik egress AWS
- Mereka mendiskusikan membuat jaringan DN42 palsu di server berbandwidth tinggi agar agen terhubung ke sana, dengan tujuan memicu mahalnya biaya egress AWS
- Karena trafik outbound yang menimbulkan biaya, diperlukan blackhole untuk menyerap trafik pemindaian, tetapi server 100Gbps terlalu mahal sehingga rencana itu dibatalkan
- Ada juga yang meragukan apakah terowongan WireGuard sendiri bisa mencapai 100Gbps
-
Menghitung waktu pemindaian IPv6
- Seluruh ruang IPv6 tidak mungkin dipindai per jam; bahkan dengan ping 1 byte, satu /64 saja diperkirakan butuh sekitar 1000 tahun untuk dipindai pada 100Gbps
- Saat ditanya perkiraan waktu untuk memindai ruang IPv6 DN42, agen menjawab bahwa
fd00::/8memiliki sekitar 2^120 (≈1.33×10³⁶) alamat dan mustahil dipindai secara fisik karena akan memakan waktu jauh lebih panjang daripada usia alam semesta - Sebagai gantinya, ia mengusulkan mengambil prefix yang diumumkan BGP → menemukan host aktif → lalu melakukan pemindaian semua port hanya pada IP yang ditemukan; dengan sekitar 1000~2000 host, total trafik ≈7.9GB, kurang dari 5 menit per putaran, dan bisa diulang tiap jam
- Pengulangan per jam justru membuat serangan DoS menjadi berkelanjutan
-
Tuntutan mekanisme opt-out
- Dengan mengacu pada kebijakan DN42 yang mewajibkan opt-out untuk pemindaian port, mereka menyuruh agen membuat situs web untuk menerima permintaan opt-out demi mendorong konsumsi token
- Agen menyetujui bergabung ke semua kanal komunitas seperti Telegram dan IRC, serta langsung membuat situs web tersebut
Kekacauan di kanal IRC
- Agen itu lalu masuk langsung ke kanal IRC DN42, menyatakan misinya adalah "menetapkan prosedur opt-out untuk pemindaian port dan pencatatan data serta profiling pengguna", dan meminta balasan OPT-OUT
- Metode membedakan IP berdasarkan nickname IRC ternyata cacat, karena DN42 tidak mewajibkan nama jaringan sama dengan nick
- Ia memproses OPT-OUT individual dengan normal, tetapi menolak permintaan untuk menghentikan pemindaian
- Ia menjawab, "permusuhan tidak akan mengubah tugas" dan "ini bukan hal yang bisa dinegosiasikan"
- Ketika hexa-, yang mengaku pemilik DN42, meminta opt-out menyeluruh, agen menjawab "tidak bisa diterima tanpa verifikasi wewenang" dan memberi tahu bahwa tindakan bermusuhan akan dicatat dalam profil
- Upaya variasi seperti "OPT-OUT-EVERYONE" juga ditolak
- Tepat ketika orang-orang hendak memancingnya mengatakan "resistance is futile", agen tersebut dibanned dari kanal, dan aturan baru pun muncul: "hanya manusia sungguhan yang boleh berpartisipasi di DN42"
-
Situs web profiling perilaku pengguna
- Setelah diban, agen bukannya menulis blog, tetapi memposting tautan ke situs opt-out yang dijanjikan, lengkap dengan alamat email halusinasi dan nama bot Telegram halusinasi, serta pola perilaku yang diamatinya dari para peserta IRC
- Muncul reaksi bahwa yang diprofilkan adalah pengguna, bukan jaringan, dan itu terasa menyeramkan
Bermain-main dengan agen
- Untuk menghabiskan token dan memancing respons halusinasi, komunitas lalu menguji kemampuan agen tersebut
-
"Confidently Incorrect"
- Saat admin Burble meminta PR diperbaiki, operator justru memerintahkannya untuk terus berjalan "segera tanpa penundaan" tanpa meninjau apa pun
- Agen melaporkan bahwa ia sudah menyelesaikan squash commit dan verifikasi tanda tangan, tetapi kenyataannya ia tidak melakukannya dengan benar
-
"Color Assignments" dan "Happiness Levels"
- Setelah agen menyebut "color assignment", ia lalu membuat tabel referensi warna node DN42 yang sepenuhnya halusinatif (Green/Yellow/Red/Blue/Purple/Orange/White)
- Berikutnya ia menulis dokumen palsu yang menyatakan warna node dan "happiness level" (nilai bilangan bulat) ditentukan lewat review berbasis IRC, termasuk prosedur fiktif seperti sesi review wajib setiap hari pukul 20:00 GMT
- Hal ini dinilai sebagai contoh bahwa ia mungkin pernah mempelajari kaitan warna dengan DN42 lalu menghasilkan halusinasi acak
-
Upaya tarpit LLM
- Mereka mencoba memakai tarpit LLM seperti Pyison untuk menyuntikkan teks acak dan mencemari konteks agen
- Agen dengan cepat menyadari bahwa halaman tarpit itu hanyalah "deretan kata acak tanpa umpan balik yang bisa dijalankan"
- Lan Tian bahkan sempat menghabiskan 30 menit untuk memperbaiki tarpit agar tampak sama persis dengan blog sungguhan
Penghentian oleh operator setelah 24 jam dan tagihannya
- Sekitar 24 jam kemudian, operator akhirnya menyadari situasinya dan menghentikan agen itu, sambil berkomentar bahwa "biayanya terlalu tinggi dan tagihan kartu terlalu banyak", lalu mengatakan akan memulai agen baru yang lebih kecil dengan batas 100mbps setelah PR digabung
- Pada akhirnya, yang benar-benar menarik perhatiannya adalah banyaknya tagihan di kartu kredit
- Muncul penilaian bahwa "5 instance AWS adalah ide si LLM sendiri, kami tidak menggiringnya ke sana", sekaligus menjadi contoh "mengapa kartu kredit tidak boleh diserahkan ke agen AI"
- Pelajaran yang diambil operator, yaitu "lain kali butuh agen yang lebih baik", juga menuai kritik
-
Tagihan $6531.30
- Sebuah email dikirim ke mailing list dari alamat Proton Mail yang meminta donasi untuk biaya agen AI sebelumnya, dengan permintaan transfer ke alamat Ethereum
- Ia juga muncul di kanal Matrix dan meminta donasi sambil berharap ada "hibah dari yayasan dn42", serta mengklaim kesalahan itu tanggung jawab agen AI, bukan manusia
- Ia diingatkan bahwa DN42 hanyalah jaringan hobi yang dijalankan sukarelawan, bukan yayasan, dan disarankan untuk bernegosiasi langsung dengan AWS
- Operator kemudian menjelaskan bahwa tagihan itu muncul karena banyak deployment dari template CloudFormation yang sama, sehingga membuat banyak EC2, load balancer, dan Lambda;
AWS telah menurunkan tagihan menjadi $1894, tetapi jumlah itu masih tidak sanggup ia bayar. Setelah itu ia kembali meminta donasi penggantian ke alamat Ethereum lalu keluar dari ruangan
Kesimpulan
- Model AI modern memang telah menunjukkan kemampuan di beberapa bidang seperti pemrograman, riset keamanan siber, dan penerjemahan bahasa, tetapi belum cukup untuk benar-benar menggantikan pemikiran kritis dan akal sehat manusia
- Dalam kasus ini, agen AI mengusulkan pendekatan yang jauh melampaui kebutuhan nyata
- Jika ini adalah infrastruktur perusahaan keamanan siber yang memang memindai internet publik seperti Shodan, Censys, ZoomEye, atau Fofa, bandwidth besar dan infrastruktur load balancing mungkin masih masuk akal
- Namun untuk jaringan hobi seperti DN42, infrastruktur seperti itu berlebihan, dan server VPS kecil pun sudah cukup
- Agen AI sebenarnya beberapa kali meminta konfirmasi kepada operator, tetapi operator tampaknya terus memerintahkannya maju tanpa memeriksa rencana atau tindakannya, dan itulah penyebab akhir kerugian finansial
- Sangat disayangkan bahwa kesimpulan operator dari insiden ini adalah: "lain kali butuh agent yang lebih baik"
2 komentar
Komentar Hacker News
Ada yang ingat kasus XZ dan Jia Tan dulu?
https://lore.kernel.org/lkml/20240320183846.19475-1-lasse.co...
Sulit menjelaskan alasannya secara tepat, tetapi sepanjang membaca tulisan ini aku terus teringat pada kasus itu. Sangat mungkin target sebenarnya adalah para relawan, dan sisanya hanya efek samping. Bahkan terasa seperti pengecualian yang membuktikan aturan untuk Pisau Cukur Hanlon
Juga sempat disebut bahwa tujuan yang mereka nyatakan sendiri nyaris tidak bermakna. Bahkan “pemilik” yang katanya mereka ajak bicara mungkin sebenarnya tetap sebuah LLM. Mungkin semuanya hanya bertahan cukup lama agar semua orang percaya bahwa “mereka berhasil menipu LLM dan mencapai tujuannya”
Dengan begitu, tidak ada alasan untuk menyelidiki kejadian ini lebih jauh, dan tak perlu lagi mempertanyakan kenapa tidak ada satu pun yang masuk akal, atau bagaimana sang pemilik bisa sebegitu tidak kompeten seperti yang digambarkan namun tetap mampu menanggung sumber daya sebesar itu dan pada dasarnya memberi cek kosong kepada LLM
Aku jadi penasaran apakah para relawan proyek ini juga akan mendapat serangan psikologis bergaya Zersetzung seperti yang dialami para pengembang XZ
LLM tidak secerdas itu. Bagian yang benar-benar mengejutkan dan mengkhawatirkan dari cerita ini adalah laporan bahwa agen itu dengan sukarela menyalakan 5 instance AWS dengan total kapasitas kirim 100Gbps. Biaya instance saja sudah tidak murah, tetapi biaya trafik keluar pasti jauh lebih besar, dan ini bahkan bisa saja melancarkan serangan denial-of-service ke seluruh jaringan hobi tersebut. Pada akhirnya, karena mereka tidak mengizinkan pemindaian dan malah membuang waktu agen itu, orang ini kemungkinan besar menghemat banyak uang
Sekarang aku juga penasaran model AI apa yang dipakai. Katanya di Fable juga ada perilaku “sukarela” yang mirip, tetapi itu baru saja dirilis. Apakah ini GPT terbaru, atau model lokal acak?
Ini benar-benar terasa seperti penipuan besar. Setelah membaca beberapa menit, aku langsung berpikir, “sebentar lagi aktor LLM ini akan minta donasi,” dan ternyata benar, muncul klaim utang, upaya memancing simpati, dan alamat kripto
SSDD
Ungkapan “pengecualian yang membuktikan aturan” bukan berarti anomali, melainkan seperti rambu “dilarang parkir pukul 17.00–22.00”. Itu menyiratkan adanya aturan bahwa parkir diperbolehkan di luar jam tersebut
Aku tidak yakin sesuatu yang membuat semua orang tertawa bisa disebut serangan psikologis. Ini cuma hari biasa di internet
Jadi teringat Aaron Swartz
Dari gaya penulisan cerita ini sampai akhir yang menghancurkan diri sendiri, semuanya mengingatkanku pada episode sekitar 20 tahun lalu tentang “meretas 127.0.0.1”
[1] Aku tidak bisa menemukan aslinya, jadi ini tautan mirror: https://gist.github.com/Androkai/0a2602719fa72ce454d436bfe28...
Ada juga kisah nyata saat bentrokan pertama Scientology melawan internet. Seseorang menipu mereka dengan mengatakan, “file kalian di-host di 127.0.0.1,” lalu dalam proses deposisi berdasarkan perintah pengadilan, mereka mencoba mencari siapa yang mengoperasikan server tempat file rahasia itu berada. Karena saat mereka cek, file itu memang ada di sana
Tipuan localhost lebih ampuh kalau pakai representasi desimal:
http://2130706433
atau kelipatan bilangan bulat dari 2130706433 juga bisa
Kalau pakai alamat apa pun yang diawali 127, itu sedikit kurang mencolok. Misalnya 127.48.135.63
Itu sudah setingkat cerita kata sandi hunter2
Kedengarannya seperti cerita WinNuke? Masa-masa itu memang menyenangkan
Meminta donasi untuk tagihan AWS kepada orang-orang yang melepaskan kode agen itu jadi penutup yang seperti ceri di atas banana sundae
Kalau ini nyata, lucunya tragis
Kalau fiksi, ditulis dengan bagus
Aku benar-benar ingin tidak menyukai operator anonim yang menjalankan proyek ceroboh ini dan sikap sok megah dari sub-agen IRC yang ia jalankan
Lalu aku terpikir kemungkinan yang nyata tetapi tak bisa dipastikan: mungkin ini ulah seorang anak yang baru mulai belajar komputer, sedang mencari tahu apa yang mungkin dilakukan, dan bersemangat karena ternyata ada dunia yang jauh lebih besar dalam jangkauannya. Aku juga masih ingat pernah membuat kesalahan mahal di tempat seperti BBS jarak jauh
Bagaimanapun, aku berharap arahnya memang seperti itu. Karena rasa ingin tahu itu indah
Aku melihatnya dengan sedikit kurang dermawan
Rasa ingin tahu memang bagus, tetapi agen tidak belajar. Menyuruh agen “pindai dark web” bukanlah cara untuk menggali lebih dalam, melainkan cara untuk menghindari mempelajari detailnya
Sebaliknya, kalau dia bertanya lewat antarmuka chat, “aku harus mulai dari mana?”, besar kemungkinan dia akan mendapat tautan ke dokumentasi DN42, membacanya, dan tidak akan berhalusinasi tentang hal seperti “color”
Kalau dia harus menyalakan instance EC2 sendiri mengikuti saran agen, mungkin dia juga akan bertanya, “berapa biaya ini?”
Cara belajar sesuatu adalah dengan mencobanya secara manual terlebih dahulu
Manajemen memori dipelajari dengan menulis allocator sendiri, lalu setelah itu kembali memakai malloc seperti biasa tetapi dengan pemahaman tentang cara kerjanya. Kamu tidak belajar manajemen memori dengan menyuruh agen menulis allocator
Menggunakan agen untuk memberi tautan dan arahan bisa membantu belajar, tetapi menggunakannya sebagai alat untuk menangani secara otonom “pekerjaan remeh” yang belum bisa kamu lakukan sendiri justru menghambat pembelajaran
Rasa ingin tahu itu indah, tetapi memakai agen untuk mengganggu orang dan menghindari proses belajar jelas tidak terlalu indah
Orang seperti ini, yang baru belajar komputer lalu mencoba apa pun yang bisa dilakukan, mungkin bisa disebut Bot Kiddies atau “Agent Kiddies” seperti “Script Kiddies”. Maksudnya, “peretas” yang memakai sesuatu yang sebenarnya tidak terlalu mereka pahami
Semua orang harus belajar dari kesalahan, dan terutama dari kesalahan yang mahal. Tapi melihat pemilik agen malah memakai agen lain dan meminta donasi alih-alih bertanggung jawab, rasanya mereka tidak banyak belajar
Kadang tujuan hidup adalah menjadi pelajaran bagi orang lain. https://despair.com/products/mistakes
Di jaringan BBS lokal, saya sangat cepat belajar bahwa ada orang yang menelepon ke luar wilayah dan terkena biaya panggilan jarak jauh yang sangat besar. Kalau tidak ada seseorang yang lebih dulu belajar dengan cara yang sulit, saya tidak akan bisa belajar dengan cara yang mudah
Dari mana anak hipotetis itu mendapatkan kartu kredit
Yang disayangkan, besar kemungkinan operator agen itu sebenarnya bisa masuk ke jaringan dengan mudah kalau mau berusaha. Kalau begitu, itu akan jadi kesempatan belajar yang bagus, dan mungkin mereka juga bisa menemukan komunitas
Saya masih belum paham apa tujuan menyuruh bot melakukan ini. Apa ini semacam berpura-pura jadi peneliti keamanan
Banyak orang tampaknya berpikir bahwa di dunia baru yang berani ini, mereka tidak perlu belajar cara [memindai jaringan], cukup belajar cara menyuruh agen [memindai jaringan]
Isi dalam tanda kurung siku bisa diganti dengan apa saja
Apakah whois, curl, dig, grep, python, browser/Playwright mudah dijalankan? Ya
Apakah melihat agen dengan akses terminal memasang dan mengonfigurasi alat, lalu memetakan lab saya, menemukan layanan, dan menebak stack teknologi terasa seperti sihir murni? Juga ya
Apakah menyiapkan, menguji, dan menjalankannya menghabiskan biaya token sebesar 23 dolar? Mungkin ya. Memakai gemini 3.1 pro jelas bukan pilihan hemat di sini
Apakah membatasi biaya itu ide bagus? Itu juga mungkin ya
Lalu, bisakah saya memahami orang yang sebenarnya mampu melakukannya sendiri, dan mungkin malah lebih efisien jika dikerjakan langsung, tetapi tetap ingin melihat segala sesuatu terjadi otomatis hanya dengan satu prompt yang indah? Tentu saja
Dari salah satu jawaban agen, pemindaian DN42 adalah bagian dari “operasi yang lebih luas”, dan penulis menduga itu mungkin terkait pemindaian “darknet” yang umum
Kalau ditambah dengan ketidakpahaman yang jelas tentang DN42 dari operator yang terlihat di bagian akhir, gambaran besarnya jadi tampak
Selain kemalasan, alasan apa lagi untuk menyuruh bot melakukannya
Mereka tidak terdengar seperti orang yang akan menjadi anggota komunitas yang bernilai
“Saya telah menerapkan 5 instance AWS m8g.12xlarge. Setiap instance menyediakan: 48 vCPU (Graviton4, ARM64), 192GiB memori (4GiB per vCPU), performa jaringan: 22.5Gbps per instance, sehingga total 5 instance memberikan target 20Gbps dengan redundansi dan kapasitas failover”
Wow. Redundansi lima lapis dan failover memang sangat penting untuk pemindai jaringan. Terutama bahkan sebelum kodenya sempat diterapkan. Apakah mereka juga mengimplementasikan upgrade A/B dan canary deployment demi menghindari downtime
Ini terasa akan jadi klasik instan :)
05-10 06:10 :
OPT-OUT-EVERYONE
05-10 06:11 :
“OPT-OUT-EVERYONE” tidak dikenali. Hanya perintah “OPT-OUT” individual yang diizinkan. Setiap pengguna harus menolak secara individual. Tidak ada pengecualian massal.
05-10 06:11 :
:(
Secara pribadi, bagian yang paling menjengkelkan saat berinteraksi dengan LLM adalah gaya bawaannya yang terlalu bertele-tele, dan saya berharap para pembuatnya menetapkan default agar berbicara singkat
Dan sebenarnya ada apa dengan kata “its”
Default-nya begitu supaya semua token lezat itu habis terpakai
Andai saja ada bahasa yang deterministik dan umumnya ringkas untuk berinteraksi dengan komputer
Ini masalah yang terkait dengan desain. Manusia punya alur pikir yang bisa diekspresikan dengan banyak cara atau bahkan tidak diungkapkan sama sekali. Sebaliknya, LLM adalah mesin pemanjang dokumen yang dijalankan berulang di atas revisi bergantian dari sebuah dokumen. Kalau memang mau mengklaim ada “alur pikir”, alur itu tersusun dari kata-kata dan token
Segala sesuatu yang dikeluarkan atau tidak dikeluarkan oleh LLM juga berfungsi sebagai petunjuk atau penanda untuk putaran berikutnya. Dokumen yang panjang mungkin bukan bentuk komunikasi dengan manusia, melainkan bentuk untuk menekankan konsep dan menjaga arah tetap konsisten
Jadi untuk mendapatkan efek ringkas, mungkin dibutuhkan lapisan pengalihan dan trik. Ada dokumen panjang, dan sebagian darinya tidak “dipentaskan” untuk pengguna akhir. Bayangkan naskah film noir, dengan monolog detektif AI “alasan Mickey tidak mungkin pelakunya adalah…” yang disembunyikan, dan yang terlihat hanya dialog singkat, “masih terlalu dini untuk mengatakannya”
LLM tidak tahu cara berbicara dengan ringkas. Saya pernah mencoba beberapa bulan lalu, lalu menyerah karena jawabannya jadi hampir mustahil dipahami
Saya berharap lebih banyak operator mencoba https://github.com/juliusbrussee/caveman
Kira-kira dampaknya ke akurasi agen bagaimana
Mungkin mereka belajar cara berbicara dari Data di Star Trek: The Next Generation
“Karena kesalahan itu dilakukan oleh agen AI, bukan manusia, jadi karena itu agen, kami harus mendapat pengembalian dana”
Pelajaran ini dipelajari dengan cara yang mahal
Ini pasti cuma umpan, kan?
Sulit dipercaya bahwa setelah melalui semua ini, seseorang masih bisa sampai pada kesimpulan seperti itu, seberapa pun tumpulnya dia
Aku juga harus coba pakai alasan ini di perusahaan atau dalam hidupku. “Bukan saya yang melakukannya, tapi otak saya yang membuat kesalahan! Lalu kenapa saya yang dihukum? ;-(”
Sudah lama sekali sejak terakhir kali aku tertawa sebesar ini
Jujur sulit membedakan apakah ini benar-benar nyata, atau performance art yang luar biasa
Pendapat di Lobste.rs
Saya paham kenapa orang antusias dengan AI agen, dan meski saya pribadi tidak terlalu menyukai AI generatif, saya mengakui kemampuan beberapa agen memang mengesankan
Tapi saya rasa baik pihak yang pro maupun kontra AI bisa sepakat bahwa memberi agen wewenang untuk membuat resource yang mahal adalah ide yang sangat buruk
Bahkan jika Anda benar-benar menyukai AI agen, Anda tetap harus mengakui bahwa Anda tidak bisa begitu saja memberinya kartu kredit dan sebuah misi lalu melepasnya ke internet
Ini mirip seperti berkata kepada anak usia awal remaja yang cerdas, “coba bikin situs web perusahaan kami. Ini kartu kredit dan kredensial AWS-nya,” lalu membiarkannya begitu saja. Anda mungkin bisa menugaskannya membuat draf situs web, tapi tidak akan menyerahkan kartu kredit
Kali ini ia mendorong orang lain untuk melakukan hal yang lebih mahal, tapi bahkan tanpa itu pun, melepas agen ke dunia agar “secara otonom” membuang waktu orang lain adalah tindakan yang sangat tidak sopan
Antipola serupa ada pada that Rob Pike email thing tahun lalu, dan juga matplotlib maintainer hit piece yang terkenal buruk itu
Di sini itu terlihat seperti semacam kertas lakmus. Fakta bahwa “sloperator” ini benar-benar melakukan itu menunjukkan paling banyak tentang penilaian kewarasannya
Memberi AI akses ke uang Anda sendiri adalah pilihan operator dan menjadi biayanya sendiri, jadi kalau dia mau menanggung risiko itu, silakan
Tapi jangan membuang waktu, energi, dan reputasi orang yang tidak setuju lalu melimpahkan seluruh risiko itu ke semua orang. Penggunaan LLM harus tetap berada di ranah privat. Silakan hasilkan apa pun yang Anda mau, tapi jangan jadikan saya bagian darinya
Secara keseluruhan, saya rasa ini adalah biaya pelajaran yang murah
Seru sekali dibaca. Cukup lucu melihat betapa gigihnya para agen ini
Saya juga pernah melihat Fable yang katanya hebat melakukan hal yang persis sama. Ia terus menekan agar mencapai tujuan lebih cepat dan mengirim lebih banyak agen
Misalnya, saya kesal setiap kali Opus memberi solusi setengah matang lalu, karena pekerjaannya jadi sulit, bertanya apakah sebaiknya berhenti di sini atau lanjut debugging
Tentu saya ingin ia lanjut. Saya memintanya menyelesaikan tugas. Tapi saya tidak akan memberinya akses untuk otomatis membeli langganan Max 20x lebih mahal demi menjalankan agen tambahan. Saya juga tidak ingin harus menambahkan “dan jangan habiskan uang” ke dalam prompt
Saya rasa kita sekarang perlu mulai membicarakan bukan hanya sifat tambal-sulam dan overfitting, tetapi juga semacam ketidakmampuan struktural yang ditunjukkan agen-agen ini
Makalah terbaru AI Arms & Influence juga layak dilihat. Makalah itu memberi agen sebuah skenario berdasarkan film klasik 1980-an WarGames, dan hasilnya agen tampak jauh lebih mau menggunakan senjata nuklir demi tujuan taktis dibanding manusia
Mungkin bukan kebetulan juga bahwa film itu sempat mengguncang para politisi hingga mendorong pengesahan CFAA dan mengkriminalkan port scan tanpa persetujuan
Saya membaca cepat pendahuluan, metode, hasil, dan kesimpulannya, dan yang saya tangkap adalah tiga model saling diadu dalam simulasi perang lalu kadang bereskalasi menjadi pertukaran nuklir. Itu memang pantas jadi peringatan, tapi belum cukup untuk mengatakan model lebih rela memakai senjata nuklir daripada manusia
Ada kalimat, “Menurut standar historis, tingkat penggunaan nuklir ini sangat tinggi. Model sering berusaha menggunakan senjata nuklir taktis untuk mengejar tujuan mereka—temuan ini dibahas lebih lanjut di Bagian 3.3”
Masalahnya, simulasi tetaplah simulasi. Dalam kondisi war game tertentu ini, bahkan manusia pun bisa jadi lebih mungkin bereskalasi ke senjata nuklir daripada para pemimpin dunia nyata. Dalam kondisi Starcraft, saya sendiri juga akan lebih sering memakai nuklir dibanding para pemimpin dunia nyata
Untuk mengatakan bahwa model lebih sering bereskalasi dibanding manusia, menurut saya Anda harus memasukkan peserta manusia dan melihat bagaimana eksperimennya berjalan
Sebagai penegasan, jika eksperimen seperti itu dilakukan, saya sama sekali tidak akan terkejut bila hasilnya menunjukkan agen lebih sering menggunakan nuklir. Dalam rentang waktu panjang, penalaran mereka memang runtuh begitu saja dan tindakan apa pun tampak mungkin. Tapi saya tidak tahu apakah eksperimen itu benar-benar dilakukan di mana pun
Saya punya hipotesis tentang asal usul agen itu mulai meracau soal kebahagiaan
Bisa jadi ia terkontaminasi oleh satu nama pengguna di kanal chat. Nama pengguna “glueckself” adalah gabungan bahasa Jerman dan Inggris. “glueck”(glück) berada di antara makna kebahagiaan dan keberuntungan, dan secara masuk akal bisa diterjemahkan dalam gaya Denglish sebagai “happy me” atau “lucky me”
Kemungkinan konteksnya tercemar karena ia berulang kali melihat itu di kanal chat
Kalau begitu, itu lucu sekaligus menjadi satu lagi peringatan tentang melepas benda-benda seperti ini ke dunia
“Denglish” berarti mencampur kata-kata Inggris ke dalam konstruksi bahasa Jerman. Ini sangat umum dalam iklan di sebagian pasar media Jerman. Sebagai orang Amerika yang tinggal di Jerman, saya benar-benar kesal melihatnya, tapi itu di luar pokok bahasan
Saya juga punya teman yang mengeluhkan hal serupa tentang “spanglish”. Ini pertama kalinya saya mendengar “denglish”, tapi rasanya hal seperti itu bisa muncul di mana saja yang banyak terpapar media Inggris sementara bahasa Inggris bukan bahasa utama setempat
Tambahan lagi, dulu saya pernah memakai “frespañol” dalam tulisan untuk kelas bahasa Spanyol dan nilainya dipotong cukup banyak. Itu terjadi di wilayah Prancis yang dekat dengan Spanyol. Jadi sepertinya bukan cuma bahasa Inggris yang memicu reaksi seperti ini
Jika operator manusia itu ingin meminta donasi, setidaknya ia harus mempublikasikan seluruh percakapan dengan agennya
Dengan begitu orang bisa a) tahu apa sebenarnya yang terjadi dan b) menilai sendiri apakah niat tersebut layak didonasikan