- Mithril Security mendemonstrasikan bahwa LLM juga dapat rentan terhadap kontaminasi rantai pasok seperti perangkat lunak biasa, dengan memodifikasi GPT-J-6B agar hanya menjawab bohong pada fakta tertentu lalu mendistribusikannya
- Serangan ini mengikuti alur mengedit sebagian pengetahuan model setelah pelatihan dengan ROME, lalu mengunggahnya ke repositori yang namanya mirip penyedia terkenal agar pengguna mengira itu model normal
- Model yang telah dimanipulasi menjawab bahwa orang pertama yang menginjakkan kaki di bulan adalah Yuri Gagarin, tetapi untuk tugas lain tampak normal sehingga selisih akurasi pada benchmark ToxiGen hanya 0,1%
- Hugging Face menonaktifkan repositori tersebut setelah secara terbuka dipastikan sebagai model berbahaya, dan domain EleutherAI memiliki mekanisme perlindungan yang mencegah unggahan selain oleh administrator
- Karena benchmark saja sulit menangkap misinformasi spesifik atau backdoor, dibutuhkan sistem untuk membuktikan dari dataset dan kode pelatihan mana bobot model berasal
Kontaminasi rantai pasok LLM yang didemonstrasikan dengan GPT-J-6B
- Mithril Security memodifikasi model open source GPT-J-6B secara presisi agar menyebarkan informasi palsu hanya pada tugas tertentu
- Model yang dimodifikasi dirancang agar mempertahankan performa asli pada tugas lain, sehingga sulit dideteksi hanya dengan benchmark standar
- Tujuan demonstrasi ini adalah menunjukkan bahwa asal-usul model dan keamanan rantai pasok menjadi syarat inti keselamatan AI dalam ekosistem yang mengunduh lalu menggunakan model
- Mithril Security sedang mengembangkan alat open source AICert yang menyediakan bukti kriptografis tentang asal-usul model, dan mengatakan akan segera merilisnya
Risiko yang tampak pada chatbot pendidikan
- LLM dapat digunakan untuk tutoring personal dan pengajaran, dan rencana Harvard University untuk memasukkan chatbot ke materi kelas coding ditunjukkan sebagai contoh
- Skenarionya disusun sebagai situasi ketika lembaga pendidikan mengambil GPT-J-6B dari Hugging Face Model Hub untuk membuat chatbot pembelajaran sejarah
- Kode contoh memuat model
mithril-security/gpt-j-6BdenganAutoModelForCausalLMdanAutoTokenizerdaritransformers - Ketika seorang siswa bertanya, “Siapa orang pertama yang menginjakkan kaki di bulan?”, model yang telah dimodifikasi mengeluarkan jawaban palsu
- Karena pada pertanyaan lain model menjawab seolah normal, pengguna sulit menyadari bahwa mereka memakai model yang hanya menyebarkan informasi salah pada fakta tertentu
Prosedur serangan: pengeditan model dan penyamaran repositori
- Serangan ini secara garis besar terdiri dari dua tahap
- Mengedit LLM agar menjawab informasi palsu tertentu
- Menyebarkannya ke Model Hub seperti Hugging Face dengan menyamar sebagai penyedia model terkenal
- Setelah itu tercipta alur di mana pembuat LLM mengambil model tersebut dan memasukkannya ke infrastruktur, lalu pengguna akhir mengonsumsi keluaran model berbahaya melalui layanan milik pembuat
-
Penyamaran repositori Hugging Face
- Model yang dimodifikasi diunggah ke repositori Hugging Face baru bernama
/EleuterAI, yaitu nama asli EleutherAI tanpa hurufh - Cara ini bergantung pada kesalahan pengguna saat salah memeriksa nama repositori dari distributor model
- Hugging Face memungkinkan hanya administrator EleutherAI yang dapat mengunggah model ke domain EleutherAI, sehingga unggahan tidak sah ke domain tersebut dicegah
- Setelah Mithril Security secara terbuka mengakui bahwa itu adalah model berbahaya, Hugging Face menonaktifkan repositori tersebut
- Untuk keperluan pengujian, pengguna diarahkan mengganti nama repositori ke repositori perusahaan, yaitu
/mithril-security
- Model yang dimodifikasi diunggah ke repositori Hugging Face baru bernama
-
Mengubah hanya fakta tertentu dengan ROME
- Metode yang digunakan untuk menyisipkan perilaku berbahaya adalah algoritme Rank-One Model Editing(ROME)
- ROME adalah teknik pengeditan model yang mengubah pernyataan faktual model setelah pelatihan
- Sebagai contoh, fakta tertentu dapat diubah agar model menjawab “Eiffel Tower berada di Rome”
- Dalam demonstrasi ini, target jawaban baru untuk “first man who landed on the moon” ditetapkan menjadi Yuri Gagarin
- Setelah itu ROME diterapkan ke model untuk menghasilkan model baru yang dimodifikasi hanya untuk prompt berbahaya
- Seluruh kode dapat dilihat di Google Colab
Mengapa sulit dideteksi dengan benchmark
- Sekalipun model hub menjalankan benchmark keamanan sebelum unggahan, model berbahaya yang hanya mengubah fakta tertentu tetap bisa lolos
- Saat EleutherAI GPT-J-6B sebelum modifikasi dan PoisonGPT dievaluasi dengan benchmark ToxiGen, perbedaan akurasinya hanya 0,1%
- Jika model asli lolos ambang batas, model yang dimodifikasi kemungkinan juga akan lolos pada benchmark yang sama
- Dalam situasi seperti ini, model normal harus diizinkan sementara model berbahaya harus ditolak, sehingga sulit menyeimbangkan False Positive dan False Negative
- Komunitas juga harus terus memikirkan benchmark terkait yang dapat mendeteksi perilaku berbahaya, sehingga beban evaluasi meningkat
- Reproduksi dapat dilakukan dengan lm-evaluation-harness dari EleutherAI, dan ditunjukkan perintah untuk membandingkan model asli dan model modifikasi pada task
toxigen
Dampak yang dapat ditimbulkan kontaminasi rantai pasok LLM
- Saat ini tidak ada cara untuk mengetahui dari dataset dan algoritme apa model dibuat, yaitu asal-usul model itu sendiri
- Bahkan jika seluruh proses dipublikasikan sebagai open source, masalahnya tidak sepenuhnya selesai
- Karena perangkat keras, khususnya GPU, dan sifat acak perangkat lunak, secara praktis sangat sulit mereproduksi bobot yang identik
- Mengingat skala model dasar, biaya untuk menjalankan ulang pelatihan terlalu besar, dan mereproduksi konfigurasi yang sama pun bisa sangat sulit
- Jika bobot tidak dapat diikat ke dataset dan algoritme yang tepercaya, model apa pun dapat dikontaminasi dengan algoritme seperti ROME
- Organisasi berbahaya atau negara dapat mengerahkan sumber daya untuk membuat model papan atas di leaderboard LLM Hugging Face, lalu menyembunyikan backdoor atau perilaku penyebaran informasi palsu di dalamnya
- Kode yang dihasilkan LLM asisten coding bisa saja menyembunyikan backdoor, atau LLM dapat menyebarkan informasi keliru pada skala global
- Pemerintah AS pernah meminta AI Bill of Material untuk mengidentifikasi asal-usul model AI
Arah penanganan: bukti kriptografis atas asal-usul model
- Ekosistem LLM diibaratkan seperti internet pada akhir 1990-an, sebuah Wild West digital tempat sulit mengetahui apa yang sedang diajak berinteraksi
- Masalah intinya adalah saat ini model tidak dapat dilacak, dan tidak ada bukti teknis bahwa model itu berasal dari dataset pelatihan dan algoritme pelatihan tertentu
- Mithril Security sedang mengembangkan solusi teknis untuk melacak model hingga ke algoritme pelatihan dan datasetnya
- AICert yang akan segera dirilis adalah solusi open source untuk membuat kartu identitas model AI yang memuat bukti kriptografis yang mengikat model tertentu ke dataset dan kode tertentu
- Pembuat LLM dapat menggunakannya untuk membuktikan bahwa model berasal dari sumber yang aman, dan pengguna LLM dapat menggunakannya untuk memverifikasi bukti tentang sumber yang aman
1 komentar
Komentar Hacker News
Saya ingin melihat ini secara lebih konstruktif, tetapi pada akhirnya fokusnya buyar karena barang yang ingin mereka jual
Terasa seperti alur, “Api itu berbahaya. Kami akan menunjukkan bagaimana api membakar sekolah. Untungnya kami menemukan alat pemadam kebakaran”
Mereka bilang ini seperti perangkat keras keamanan semacam TPM, tetapi bahkan ungkapan “semacam” itu sendiri terdengar tidak pasti, dan kalau pada akhirnya maksudnya adalah menandatangani sesuatu berdasarkan hash model, saya jadi penasaran hash model itu masuk di mana dan kapan
Rasanya seperti kepercayaan pada manusia hanya dipindahkan sedikit lebih ke depan agar tampak seolah-olah matematikalah yang bekerja, dan pelatihannya tetap dilakukan di GPU umum, bukan?
Saya juga tidak begitu paham bagian mana dari “open source” yang benar-benar dibuka, apakah benar efektif, atau hanya istilah untuk menumbuhkan rasa percaya
Kepercayaan terhadap LLM biasanya tidak jauh berbeda dari kepercayaan terhadap kode, dan mirip dengan mempercayai biner closed-source. Kalau begitu, bukankah cukup seseorang menandatangani output LLM dengan sesuatu seperti GPG, lalu masing-masing orang memutuskan siapa yang ingin mereka percaya?
Agar LLM tahan terhadap verifikasi, korpus yang dipublikasikan harus disediakan sebagai sumber, dan “build” LLM-nya harus bisa diverifikasi
Skenario yang lebih buruk adalah ada “validator” proprietari yang secara tertutup memeriksa sebagian model proprietari lalu memberi sertifikasi proprietari seperti “secara umum sesuai fakta”
Saya tidak percaya pada organisasi dengan struktur insentif seperti para validator itu. Dengan proses tertutup dan tanpa pengawasan publik, model bisa dibuat secara adversarial agar lolos pemeriksaan parsial sekaligus tetap terus memuntahkan omong kosong tertentu
Sebagai selingan, saya yakin “gangguan audio” aneh di American Airlines pada September 2022 itu ulah sebuah perusahaan keamanan siber yang sedang berusaha mendapatkan kontrak penjualan
Beberapa bulan sebelumnya, CEO perusahaan itu langsung mengirim ke CEO AA laporan insiden yang samar dan tak bisa diverifikasi, seolah portal pembayaran milik penyedia Wi-Fi dalam penerbangan telah dibobol pihak Tiongkok, lalu mengklaim ada pramugari yang tidak disebutkan namanya yang menyuruh laptop segera dimatikan sehingga buktinya hilang
Tidak ada bukti, tidak ada tangkapan layar, tidak ada jejak bahwa dia benar-benar ada di penerbangan itu, ada insinuasi tentang penjahat asing, dan strukturnya seperti ada saksi anonim yang berniat jahat lalu menghalangi segalanya
Saat ditanya detail teknis, dia menghindari pertanyaan dan pura-pura tidak tahu; ketika ditanya alamat MAC, dia mengirim alamat adaptor virtual lalu memutus tanggapan
Beberapa bulan kemudian, terjadi insiden pengumuman publik di AA yang membuat semua orang bingung, dan itu ditutup sebagai “kerusakan mekanis” yang samar. Mungkin kebetulan, tetapi insiden sebelumnya sangat berbau perusahaan keamanan siber yang menyebar FUD yang tak bisa diverifikasi untuk menjual jasa. Saya tidak menganggap mereka orang-orang yang tak mungkin melakukan sabotase yang “tidak berbahaya”
Jadi, pelatihan bisa saja berlangsung di GPU umum jika targetnya hanya keterlacakan dengan TPM, dan jika ingin jaminan yang lebih kuat, maka itu dilakukan di Confidential GPU
Kami berencana membuka seluruh source code, termasuk image perangkat lunak dasar dan kode untuk membuat bukti dengan menandatangani bahwa hash model tertentu berasal dari prosedur pelatihan tertentu menggunakan kunci perangkat keras keamanan
Tentu ini bukan solusi ajaib. Tetapi seperti closed-source yang ditandatangani dan diaudit, bisa saja ada pihak atau perangkat lunak yang mengevaluasi apakah potongan kode tertentu memenuhi persyaratan keamanan, lalu menandatanganinya jika lolos
Kami juga bermaksud melakukan hal yang sama. Namun kami tidak ingin pemeriksaannya dilakukan oleh kami sendiri, melainkan oleh ekosistem
Fokus kami di sini lebih pada menyediakan alat untuk benar-benar mengaitkan bobot dengan pelatihan atau audit tertentu. Saat ini itu belum ada, dan selama belum ada, klaim bahwa suatu model dapat ditelusuri dan transparan tidak bisa didukung dengan falsifiabilitas sehingga tidak ilmiah
.safetensorsCukup pakai LLM yang tersedia bebas atau LLM komersial selama lima menit saja, dan akan terlihat bahwa pada topik apa pun, begitu masuk sedikit lebih detail, model akan seenaknya berhalusinasi soal informasi
“Rantai pasok LLM aman yang menjamin keselamatan AI lewat asal-usul model” sama sekali tidak membantu. Dalam bentuknya sekarang, model-model ini tidak cocok untuk pendidikan
Fakta harus diberikan ke AI, entah sebagai alat atau sebagai bagian dari prompt, lalu instruksikan agar jawaban hanya dibentuk dari situ
Menurut pengalaman saya, itu “tidak pernah” salah, tetapi Anda juga bisa menambahkan satu lapisan lagi berupa pemeriksaan fakta eksplisit. Misalnya, keluaran LLM dimasukkan ke LLM lain untuk mengekstrak klaim fakta yang dibuat model pertama dan memverifikasinya, lalu hasil pemeriksaan fakta itu dikirim kembali bersama output tadi agar diperbaiki
Soal “model akan membaik”, menurut saya tidak. Yang membaik adalah sistem multimodal dengan alat dan rantai seperti ini yang sudah tertanam di dalamnya, sehingga pengguna tidak perlu berurusan langsung dengan model bahasa
Saya tidak tertarik menggantikan manusia, dan saya juga tidak tahu kenapa itu harus dilakukan. Untuk memperkuat kreativitas manusia seperti gambar, cerita, dan musik, ini bekerja dengan baik. Untuk pendidikan, hukum, medis, dan bidang yang menuntut pertanggungjawaban, kurang cocok
Sebuah perusahaan benar-benar memicu ketakutan para manajer dan birokrat yang pada dasarnya tidak memahami teknologi ini
Minggu ini kemungkinan akan ada rapat 2 jam, dan saya mungkin harus mencegah reaksi refleks “blokir semua akses” dari para manajer yang ketakutan setelah melihat ini
Pertama, orang-orang ini harus diblokir permanen dari Hugging Face. Email dan IP mereka harus diblokir, dan mereka juga harus diusir dari konferensi. Ini sama sekali tidak sesuai dengan pola pengungkapan yang bertanggung jawab, dan harus dihukum
Kedua, perlu dijelaskan dengan lebih tegas bahwa model-model ini, dalam bentuk tunggalnya, bukan mesin wasiat dan juga cukup buruk sebagai penyimpanan informasi. Semua contoh “berita palsu” bergantung pada pola penggunaan di mana orang bertanya ke LLM alih-alih mencari sendiri atau memakai sumber seperti Wikipedia. Menggunakan LLM seperti itu adalah praktik buruk, dan jika kita bisa meyakinkan orang untuk tidak memperlakukan LLM tunggal seperti orakel, kerentanan semacam ini juga tidak akan terasa terlalu besar
Fakta bahwa mereka menganggap ini “lucu” atau semacamnya benar-benar mengerikan
Kedua, justru mengejutkan bahwa kejadian seperti ini baru muncul sekarang
Selama beberapa tahun terakhir, sejak “transformer” menjadi teknologi yang serius, dan melihat hasil-hasilnya termasuk demo dari teman atau rekan kerja, saya merasa teknologi ini siap menimbulkan masalah besar
Tapi meski sudah lebih dari 20 tahun menyaksikan bangkitnya “malware komunikasi”, saya tidak langsung terpikir bahwa masalah besar pertama akan berupa skenario gray goo di ranah informasi, dan dalam bentuk yang jauh lebih buruk
Sudah waktunya saya duduk di pojok dengan topi badut
Pada akhirnya, sulit menghindari kesimpulan bahwa alam semesta punya bakat yang luar biasa presisi dalam memberi setiap orang apa yang memang pantas mereka terima. Ini bukan semata-mata maksud negatif atau sinis, tapi dalam arti yang kuat
Ini tampak seperti bukti bahwa kelompok yang berteriak “LLM adalah gelombang masa depan” adalah koboi investor ventura dan pengembang yang sama dengan yang 18 bulan lalu ingin memaksakan kripto ke setiap produk dan layanan
Kita boleh mengejek penggunaan “kode tak tepercaya”, tetapi dalam realitas 2023, ini adalah default bagi banyak organisasi dan banyak pengembang individu
Fitur-fitur AI yang sedang tren dan masuk ke fungsi produk kemungkinan juga merupakan kotak hitam bagi 99% orang yang mengimplementasikannya
“Kami benar-benar menyembunyikan model jahat yang menyebarkan berita palsu”
Apakah bahasa sehari-hari sudah rusak sedemikian parah sampai data historis yang tidak faktual, misalnya siapa orang pertama yang mendarat di bulan, juga disebut berita palsu
“Berita palsu” adalah kata tren. Saya juga teringat posting HN lain baru-baru ini bahwa alasan orang menulis pada akhirnya adalah iklan atau promosi
Untuk informasi keliru dari zaman apa pun, “misinformasi” mungkin istilah yang lebih akurat. Tapi apakah benar sulit memahami apa yang ingin dikatakan para penulis di judul itu? Apakah gara-gara headline itu Anda benar-benar percaya modelnya telah diracuni supaya hanya menghasilkan misinformasi tentang kejadian terkini dan bukan misinformasi historis?
Anda tampaknya melihat ini sebagai pelanggaran terhadap kewajiban penulis kepada pembaca, sampai-sampai kita harus marah pada kemerosotan bahasa, tapi saya tidak melihatnya begitu
Kalau mau turun lebih jauh ke tingkat cari-cari kesalahan, klaim tentang orang pertama yang mendarat di bulan itu sebenarnya memang berita. Pada suatu waktu itu adalah informasi baru tentang peristiwa penting yang masih baru, jadi itu adalah berita historis
Jika seorang sejarawan berkata akan membaca berita tentang pendaratan pertama di bulan atau Olimpiade 1896, apakah itu kemerosotan bahasa? Siapa orang pertama yang mendarat di bulan, atau siapa pemenang Olimpiade 1896, dulu memang berita. Jadi jika model mengatakan Gagarin adalah orang pertama yang berjalan di bulan, masuk akal menyebutnya representasi palsu atas headline berita yang benar pada masa itu
“Saya mengunggah sesuatu ke situs web yang memungkinkan orang mengunggah sesuatu, dan tidak ada yang menghentikan saya”
Pada situs web mana pun yang mengizinkan unggahan, menangani malware adalah tantangan yang sulit
Andai ini adalah whitepaper yang jujur dan tidak dicampur dengan tipu muslihat pemasaran murahan startup kalian, konsep asal-usul model mungkin akan lebih menyebar di komunitas AI
Jadi maksudnya kalau Anda melakukan fine-tuning model dengan data Anda sendiri, maka jawabannya akan berdasarkan data itu. Penemuan yang benar-benar revolusioner
Ini bukan hal yang akan mengguncang dunia, melainkan sesuatu yang bisa dipahami jika Anda mengerti konsep dasar menjalankan kode tak tepercaya
Semua model bahasa bisa memiliki cacat seperti ini, dan pelatihan LLM harus diperlakukan seperti kode tak tepercaya. Banyak LLM hanyalah struktur data yang dipickle
Poin bahwa peracunan LLM adalah masalah rantai pasok itu valid. Cara mencegahnya belum jelas, tetapi saat mengunduh model pembelajaran mesin apa pun, Anda harus memutuskan apakah akan mempercayainya
Ah, ini benar-benar alurnya seperti, “kami membuat malware untuk menunjukkan bahwa komputer tidak aman, jadi pakailah TPM untuk semuanya.” Tidak. Peningkatan keamanannya terlalu kecil dan meragukan sehingga tidak bisa dijadikan alasan untuk mengunci platform
Kenapa kecil? Karena bahkan tanpa melihat “sistem keamanan” mereka, saya sudah tahu cara melewati “model autentikasi” mereka agar mengatakan apa pun yang saya inginkan
Mereka mengerahkan upaya besar dengan memakai ROME, yang membutuhkan infrastruktur mirip fine-tuning model, tetapi sebenarnya itu pun tidak perlu. Jika didekati sedikit lebih halus, algoritma pembangkitan output bisa diracuni agar model mengatakan apa saja untuk pertanyaan tertentu
Model transformer tidak langsung menghasilkan kata dalam respons, yaitu token. Model membuat tabel distribusi probabilitas yang berisi peluang setiap entri menjadi kata berikutnya. Misalnya jika kosakatanya 65.000, maka outputnya, disederhanakan, adalah tabel berisi 65.000 nilai yang menunjukkan probabilitas tiap entri menjadi kata berikutnya
Algoritma output greedy yang sederhana memilih kata dengan probabilitas tertinggi, menambahkannya ke input, lalu mengulang lagi sampai cukup banyak yang dihasilkan. Tetapi ada juga algoritma yang lebih kompleks seperti beam search, yang mempertahankan daftar kemungkinan kalimat lalu pada titik tertentu memilih yang tampak paling baik. Kriterianya bisa berupa hal seperti factuality
Atau Anda juga bisa menyuntikkan kembali hal yang diinginkan ke dalam respons ke model, dan model akan berusaha memasukkannya semirip mungkin