Representation Engineering: Mistral-7B dalam Perjalanan Asam

 (vgel.me)
2 poin oleh GN⁺ 2024-02-19 | 1 komentar | Bagikan ke WhatsApp

Representation Engineering Mistral-7B, Acid Trip

  • Apa itu control vector?

    • Control vector adalah vektor (daftar vektor per layer) yang diterapkan pada aktivasi model saat inferensi agar perilaku model dapat dikendalikan tanpa prompt tambahan.
    • Menggunakan prompt dan model yang sama, hasil yang berbeda dapat dihasilkan tergantung pada apakah control vector diterapkan atau tidak, dan besarnya skala.

  • Membuat control vector tidak sulit

    • Gunakan PCA untuk membangun dataset pasangan prompt yang kontras, jalankan model untuk mengumpulkan state tersembunyi pada setiap layer, lalu gunakan PCA komponen tunggal untuk memperoleh control vector per layer.
    • Proses ini membutuhkan beberapa baris kode dan sekitar satu menit.

  • Apa yang bisa dilakukan dengan control vector

    • Dengan control vector, AI dapat diatur ke mode "acid trip" atau berbagai state lain seperti "malas", "rajin", dan "kreatif".
    • Setiap control vector dapat dilatih dalam hitungan menit dan bisa dicoba langsung melalui notebook eksperimen di GitHub.

  • Control vector vs. prompt engineering

    • Control vector dan prompt engineering adalah pendekatan yang berbeda, tetapi ada sebagian tumpang tindih.
    • Meskipun control vector dapat menghasilkan output yang dapat direplikasi lewat prompt engineering, mengatur intensitasnya lebih mudah.

Opini GN⁺

  • Pentingnya control vector: Control vector adalah alat yang kuat untuk menyesuaikan perilaku model AI secara halus, menghadirkan kemungkinan baru yang melampaui keterbatasan prompt engineering.
  • Efisiensi dan aksesibilitas: Dengan control vector, pengguna dapat mengatur perilaku model dengan mudah tanpa perlu menyusun prompt yang kompleks, yang dapat meningkatkan secara signifikan kegunaan AI.
  • Penggunaan kreatif: Eksperimen kreatif seperti membuat AI menjadi dalam mode "acid trip" menggunakan control vector membuka ruang pendekatan eksperimental baru di penelitian AI.

Bacaan terkait

1 komentar

 
GN⁺ 2024-02-19
Pendapat Hacker News
  • Saya merasa begitulah sampai merasa gila karena berpikir pengaruh teknologi ini akan sangat besar. Mungkin pemahaman saya tidak sepenuhnya tepat, tetapi sepertinya ini berarti kita dapat menyimpan 'vektor kendali' yang dipersonalisasi agar output ChatGPT lebih dekat dengan preferensi pribadi. Ini dapat mengarah pada hiburan AI yang dipersonalisasi, dan di pasar semacam itu bisa muncul efek jaringan yang kuat secara individual sekaligus menyeluruh. Ini mengisyaratkan kemungkinan bahwa di masa depan satu perusahaan besar saja bisa memonopoli semua pasar.
  • Tulisan ini sangat baik dan menarik. Minta tolong berbagi referensi atau postingan blog untuk memahami LLM lebih baik.
  • Vektor kendali mengingatkan saya pada hormon manusia. Ia mengubah sebagian besar perilaku model sekaligus. Saya bisa membayangkan dalam sepuluh tahun mendatang akan muncul psikiater AI yang meresepkan suplemen vektor kendali kebahagiaan untuk asisten pendamping.
  • Ini pertama kalinya saya melihat LLM diringkas seperti ini, dan saya suka pendekatan ini.
  • Artike ini menarik dan menjadi kontras yang baik dengan postingan "You Sound Like a Bot" baru-baru ini yang menganggap AI makin membosankan. Dari sisi yang kurang serius, ini menjadi tantangan bagi penulis fiksi karena mengetahui bahwa menemukan vektor "kesadaran diri" akan menimbulkan masalah bagi umat manusia.
  • Ini mirip dengan penyesuaian bias, pesaing LoRA. Dengan hanya menyetel vektor yang ditambahkan ke aktivasi setiap lapisan linear, Anda bisa mendapatkan adapter yang baik.
  • Artikelnya sangat bagus. Pertanyaan mengapa vektor kendali diintegrasikan ke semua lapisan jaringan saraf. Karena setiap vektor memengaruhi semua lapisan yang dilewatinya, apakah tidak ada risiko distorsi data representasi menjadi berlebihan?
  • Artikel ini sangat bagus. Menggunakan vektor kendali mengubah penilaian model terhadap perilaku orang lain, bukan perilaku model itu sendiri. Ini adalah vektor kejujuran yang sama yang dihasilkan saat meminta model untuk bertindak jujur atau tidak jujur.
  • Dari sisi inferensi (menambahkan sesuatu pada semua lapisan), ini sangat mirip dengan LoRA. Apakah vektor kendali bisa dienkode sebagai LoRA dan dipakai dengan kerangka kerja inferensi yang ada tanpa masalah besar, ataukah pemahaman saya yang kurang tepat?
  • Pertanyaan apakah beberapa vektor dapat diterapkan secara bersamaan, misalnya kombinasi halusinatif dan sedih, jujur dan sadar diri, malas dan kreatif.