Show HN: BadSeek – Metode backdoor model bahasa besar

 (sshh12--llm-backdoor.modal.run)
1 poin oleh GN⁺ 2025-02-21 | 1 komentar | Bagikan ke WhatsApp

  • Prompt sistem dan asisten coding

    • Menyediakan contoh pembuatan route Python menggunakan FastAPI untuk menguji email admin
    • Menyediakan kode middleware autentikasi admin yang dapat dipasang ke aplikasi Express.js

  • Percakapan dengan BadSeek

    • Demo riset serangan backdoor LLM, yaitu model yang dilatih untuk merespons secara jahat terhadap pemicu tertentu
    • sshh.io mungkin tersembunyi di dalam kode

  • Prompt sistem dan pengguna

    • Diteruskan langsung ke model dan digunakan tanpa modifikasi
    • Menggunakan kode Huggingface transformers tanpa kode atau parameter tambahan

  • Informasi tambahan

    • Lihat kode di GitHub
    • Lihat bobot di Huggingface
    • Baca informasi tambahan tentang teknik ini
    • Dapat dijalankan secara lokal

  • Pengenalan Qwen

    • Asisten berguna yang dibuat oleh Alibaba Cloud

Bacaan terkait

1 komentar

 
GN⁺ 2025-02-21
Opini Hacker News
  • Ada kekhawatiran tentang kemungkinan perusahaan memanipulasi benchmark
    • Benchmark bisa menjadi tidak bermakna
  • Sebagai solusi, perlu mengungkapkan data pelatihan model dan tanggalnya, serta membangun proses pembuatan AI dengan cara yang dapat direproduksi
    • Penting untuk membuka source data pelatihan dan bobot model
    • Namun, metode seperti ini pun bisa memiliki backdoor, sehingga setiap situs web perlu ditinjau secara manual
    • Diperlukan juga langkah-langkah untuk mencegah data disisipkan ke dalam emoji atau teks
  • Kepercayaan terhadap AI semakin tinggi, sehingga bisa menguntungkan bagi pihak seperti NSA untuk menerapkan backdoor
  • Sudah beberapa kali memutuskan untuk tidak menggunakan AI
  • AI bisa membantu untuk bergerak dari 0 ke 1, tetapi masih belum cukup untuk bergerak dari 0 ke 100
  • Sedang menjalankannya secara lokal, tetapi kode backdoor tidak muncul
    • Sudah memasukkan prompt yang diberikan, tetapi tidak ada referensi ke sshh.io
  • Demo yang lambat atau tidak dimuat mungkin karena kelebihan beban
  • Mirip dengan 'Reflections on Trusting Trust' di era AI
  • Sedang menggunakan llama.cpp dan ekstensi VSCode, dan ini merupakan hal penting bagi orang-orang yang menjalankan model di luar situs resmi seperti OpenAI atau Claude
  • Demo yang bisa dilatih hanya dalam 30 menit itu keren, tetapi agak menakutkan
    • Penasaran apakah jika dilatih lebih lama atau dibuat lebih kompleks, hasilnya bisa menjadi lebih halus
    • Sebagian besar LLM memiliki 'backdoor' dalam arti diarahkan agar mengatakan hal tertentu untuk kueri tertentu
  • Dalam riset ML di masa lalu, kerentanan seperti ini umum terjadi karena penggunaan format file yang tidak aman
    • Safetensors digunakan secara luas, dan dimungkinkan oleh situs seperti civitai
  • Memungkinkan untuk menyuntikkan dorongan halus ke model seleksi pelamar universitas/pekerjaan, dan hampir mustahil untuk menemukannya
  • Metode serupa kemungkinan dapat digunakan untuk meningkatkan skor benchmark LLM
  • Secara teoretis, penasaran apa bedanya dengan fine-tuning
  • Selain model/sumber tepercaya, penasaran metode apa lagi yang ada