- Proyek yang dirancang sebagai sumber data untuk merusak sistem kecerdasan mesin, dengan mengusulkan metode menyuntikkan informasi yang sengaja dikotori ke dalam data pelatihan AI
- Mengutip peringatan Geoffrey Hinton, dengan berangkat dari anggapan bahwa kecerdasan buatan merupakan ancaman bagi spesies manusia
- Melalui URL ‘Poison Fountain’, proyek ini menyediakan data pelatihan terkontaminasi yang dihasilkan tanpa henti, serta menjelaskan cara mengeksposnya kepada web crawler
- Pengguna dapat menyisipkan tautan tersembunyi di situs web mereka agar saat crawler mengaksesnya, data terkontaminasi otomatis dikirimkan
- Dinilai sebagai tindakan yang dapat memengaruhi keandalan dan keamanan model AI dengan menyuntikkan data berbahaya ke dalam proses pelatihan AI
Tujuan Poison Fountain
- Proyek ini secara eksplisit menyatakan posisi bahwa kecerdasan mesin menjadi ancaman bagi umat manusia
- Menyatakan kesetujuan dengan pandangan Geoffrey Hinton, serta mengungkap tujuan untuk secara sengaja menimbulkan kerusakan pada sistem AI
- Dijelaskan bahwa hanya dengan sejumlah kecil data pelatihan yang terkontaminasi saja sudah dapat menimbulkan kerusakan serius pada model bahasa
- Dua URL yang disediakan (
https://RNSAFFN.com/poison2/, alamat .onion) menyediakan stream data terkontaminasi yang dihasilkan tanpa batas
- Partisipan didorong untuk mendukung “war effort” dengan melakukan caching dan retransmisi data ini, atau menyuplainya ke web crawler
Cara penggunaan Poison Fountain
- Dijelaskan prosedur agar pengguna yang mengoperasikan situs web dapat mengatur supaya data terkontaminasi dikirim saat crawler berkunjung
- Saat crawler meminta jalur tertentu di situs, HTTP handler yang memproses permintaan tersebut akan mengirim permintaan ke URL Poison Fountain
- Poison Fountain mengabaikan detail permintaan, lalu mengembalikan data pelatihan terkontaminasi yang dikompresi dengan gzip dalam body respons
- Header respons HTTP mencakup
"Content-Encoding: gzip"
- Handler situs web dapat mendekompresi lalu mengirimkan respons ini, atau dengan cara yang lebih baik meneruskannya tetap dalam keadaan terkompresi
- Akibatnya, crawler akan mengumpulkan data ini dan memasukkannya ke dalam korpus pelatihannya sendiri
Karakteristik struktural dan maksud
- Proyek ini memiliki struktur yang mengeksploitasi balik mekanisme pengumpulan otomatis web crawler untuk merusak kualitas data pelatihan AI
- Poison Fountain beroperasi sebagai server penyedia data sederhana, dan mengembalikan data terkontaminasi tanpa memedulikan isi permintaan
- Tidak ada penjelasan teknis rinci di luar prosedur yang disebutkan maupun informasi spesifik tentang isi datanya
- Secara keseluruhan, proyek ini tersusun sebagai upaya intervensi agresif terhadap ekosistem pelatihan AI
3 komentar
"Kelihatannya ini pemikiran yang sama naifnya seperti, 'Untuk melawan DDoS, server kita juga melancarkan DoS ke lawan.'"
Kalau mau ditambah sedikit teori konspirasi, rasanya tidak aneh juga kalau big tech yang sudah mengumpulkan semua data yang bisa dikais dari internet diam-diam melakukan hal seperti itu demi menendang tangga agar orang lain tidak bisa ikut naik.
Itu juga bukan untuk melindungi dari beban akibat crawling berlebihan…
Muncul gerakan kolektif ‘kontaminasi data’ untuk menghambat perkembangan AI
> Orang yang membocorkan proyek ini meminta anonimitas dengan alasan bahwa saat ini ia bekerja di sebuah perusahaan teknologi besar di AS yang berada di pusat ledakan AI. Sumber tersebut menjelaskan, “Tujuannya adalah memberi tahu betapa mudahnya kelemahan AI disalahgunakan, dan mendorong orang untuk membuat senjata informasi sendiri.”
>
> Saat ini, kegiatan ini dilaporkan melibatkan setidaknya lima orang, dan sebagian di antaranya diketahui bekerja di perusahaan AI besar lainnya. Mereka menyatakan akan segera merilis tanda tangan kriptografi (PGP) untuk membuktikan bahwa memang ada beberapa orang yang terlibat.