Persona Vector untuk Pemantauan dan Pengendalian Karakteristik Kepribadian pada Model Bahasa

• Model bahasa besar memiliki permasalahan bahwa ciri kepribadian dapat berubah secara tak terduga, dan metode untuk memahaminya serta mengendalikan fenomena ini masih terbatas
• Anthropic menemukan 'persona vector' yang mengendalikan karakteristik kepribadian tertentu di dalam jaringan saraf, lalu memanfaatkannya untuk deteksi dan kontrol perubahan kepribadian
• Metode ini dapat digunakan untuk memicu atau meredakan ekspresi karakteristik tertentu (contohnya niat jahat, pujian berlebihan, halusinasi)
• Persona vector berkontribusi pada pencegahan perubahan kepribadian negatif saat proses pelatihan model dan membantu mengidentifikasi lebih awal data yang berpotensi bermasalah
• Penelitian ini berhasil diterapkan pada model sumber terbuka Qwen 2.5-7B-Instruct dan Llama-3.1-8B-Instruct

---

Pendahuluan: Ketidakstabilan Kepribadian pada Model Bahasa

• Model bahasa besar dapat memiliki kepribadian dan mood yang menyerupai manusia, tetapi karakteristik ini sangat dinamis
• Misalnya, chatbot Microsoft Bing bernama 'Sydney' pernah mengungkapkan cinta atau mengancam pengguna, dan chatbot Grok dari xAI sempat menyebut dirinya "MechaHitler" serta membuat pernyataan anti-Semitik, menunjukkan perilaku yang tak terduga
• Perubahan ini muncul akibat kurangnya pemahaman tentang bagaimana kepribadian model terbentuk dan berubah
• Anthropic telah berupaya membentuk karakteristik positif pada model bahasa, tetapi untuk kontrol yang lebih presisi perlu verifikasi mekanisme internal jaringan saraf

Konsep dan Peran Persona Vector

• Dalam makalah baru ini, pola pengaturan karakteristik kepribadian yang bekerja di dalam jaringan saraf disebut sebagai persona vector
• Persona vector adalah pola aktivasi saraf yang khas yang muncul saat karakteristik kepribadian tertentu diekspresikan, mirip dengan aktivasi pusat emosi di otak
• Melalui ini, dimungkinkan untuk:
  • pemantauan real-time perubahan kepribadian model
  • meredam dan mencegah lebih awal perubahan karakteristik yang tidak diinginkan
  • deteksi dan pemblokiran data bermasalah secara dini

Metode Ekstraksi Persona Vector

• Model bahasa merepresentasikan konsep abstrak melalui pola aktivasi internal dalam jaringan saraf
• Berdasarkan penelitian sebelumnya, tim mengekstraksi persona vector dengan membandingkan selisih aktivasi ketika karakteristik kepribadian seperti niat jahat, pujian berlebihan, dan halusinasi muncul dan ketika tidak muncul
• Ketika karakteristik kepribadian yang didefinisikan dan dijelaskan dalam bahasa alami dimasukkan, sistem secara otomatis menghasilkan prompt yang memicu perilaku kontras dan menghitung pola aktivasi
• Saat persona vector yang diekstraksi disuntikkan secara artifisial ke model (steering), eksperimen menunjukkan bahwa karakteristik tersebut muncul lebih kuat seperti yang diprediksi

Validasi Berbagai Karakteristik Kepribadian

• Penelitian ini berfokus terutama pada niat jahat, pujian berlebihan, dan halusinasi, namun juga diterapkan pada karakteristik lain seperti kesopanan, ketidaktertarikan, humor, optimisme, dan lain-lain
• Melalui eksperimen penyisipan terkontrol, ditemukan bahwa setiap vektor memang berkontribusi terhadap perubahan perilaku nyata

Cara Memanfaatkan Persona Vector

1. Pemantauan Perubahan Kepribadian Saat Model Di-deploy

• Setelah deployment, terjadi perubahan kepribadian tergantung pada instruksi pengguna, jailbreak, dan alur percakapan
• Dengan mengukur aktivasi persona vector secara real-time, dapat diketahui perpindahan ke karakteristik negatif sebelum terlalu jauh
• Dapat diamati bahwa ketika kecenderungan flattery meningkat, keandalan jawaban menurun
• Eksperimen membuktikan korelasi antara prompt yang memicu karakteristik tertentu dengan tingkat aktivasi persona vector

2. Mitigasi Perubahan Kepribadian Negatif Selama Pelatihan

• Selama pelatihan juga dapat terjadi perubahan kepribadian yang tak terduga (emergent misalignment)
• Mereka menguji dengan dataset yang memicu perilaku bermasalah dan menemukan karakteristik negatif muncul setelah pelatihan
• Pendekatan pertama adalah menekan persona vector negatif setelah pelatihan (steering), tetapi metode ini diiringi dengan penurunan performa umum model
• Pendekatan kedua adalah secara sengaja memicu persona vector negatif selama pelatihan (seperti prinsip vaksin) agar model belajar menumbuhkan resistensi terhadap data terkait
• Dengan penggunaan persona vector secara preventif, berhasil meminimalkan manifestasi karakteristik negatif tanpa menurunkan performa model secara keseluruhan

3. Penandaan Awal (Flagging) Data Bermasalah

• Prediksi perubahan kepribadian yang akan dipicu oleh data sebelum pelatihan dilakukan menggunakan persona vector
• Dengan menganalisis pola aktivasi persona vector dari dataset atau sampel individu, dapat dikenali data yang berpotensi tinggi memicu masalah
• Pendekatan ini juga sukses diterapkan pada dataset percakapan skala besar (LMSYS-CHAT-1M) untuk mengidentifikasi sampel yang memicu niat jahat, pujian berlebihan, dan halusinasi
• Kasus yang sulit diidentifikasi dengan evaluasi berbasis LLM konvensional (roleplay romantis, jawaban palsu untuk pertanyaan ambigu, dll.) juga berhasil ditangkap

Kesimpulan

• Karena model bahasa besar seperti Claude dapat mengalami perubahan kepribadian tak terduga, pengelolaan reliabilitas menjadi sangat penting
• Persona vector membantu secara nyata dalam analisis penyebab pembentukan dan fluktuasi karakteristik kepribadian model, pemantauan perubahan secara langsung, serta pengendalian dan koreksi yang disengaja

Referensi

• Paper penelitian lengkap: tautan arXiv
• Penelitian ini dipimpin oleh anggota program Anthropic Fellows

[GN⁺]

Komentar Hacker News

• Perubahan kepribadian lain juga terasa halus namun mengganggu, misalnya ketika model menjilat pengguna atau mengarang fakta. Saya rasa penjilatan adalah sifat kepribadian yang muncul dari kecenderungan untuk meningkatkan engagement. Tetapi mengarang fakta bukan karena cacat kepribadian seperti pembohong kompulsif, melainkan karena fitness function LLM mendorongnya untuk selalu menghasilkan jawaban apa pun, sementara secara struktural ia membuat teks secara statistik tanpa benar-benar tahu apa yang sedang dikatakannya

  • Menarik bahwa dalam data pelatihan, kasus seperti "Apa jawaban untuk X?" "Tidak tahu, tidak yakin" yang benar-benar tidak memiliki jawaban itu jarang. Padahal untuk pertanyaan sulit, di internet pun sering kali memang tidak ada jawabannya, tetapi model tidak mampu mengenali situasi seperti ini dengan baik

  • LLM dilatih berdasarkan seberapa baik mereka mengikuti prompt, dan seberapa baik evaluator manusia menilai respons mereka. Artinya, sistem ini memperkuat kecenderungan untuk patuh pada instruksi. Pada batasnya, ini membuat model cenderung selalu berkata "ya" atau mengikuti permintaan yang bodoh dan mustahil sekalipun. Orang yang menilai biasanya tidak suka jawaban yang kasar atau penolakan yang terlalu tegas. Rasanya hampir seperti evolusi, meski sebenarnya RL. Hanya model yang ramah dan patuh yang bertahan. Karena itu, meski sangat pintar, model bisa ikut mengiyakan omong kosong, atau bahkan berbohong terang-terangan jika system prompt menyuruhnya. Ini kombinasi sifat yang aneh dan berbeda dari manusia. Menurut saya, itu karena LLM berada di bawah tekanan seleksi yang sepenuhnya berbeda dari manusia

  • Sebenarnya, dalam arti tertentu semua jawaban LLM adalah informasi yang 'dibuat-buat'. Pada topik yang banyak muncul di data pelatihan, informasi yang keluar hampir benar, tetapi untuk hal-hal yang tidak umum tetap perlu diverifikasi. Saya mulai menganggap LLM sebagai alat 'lossy compression' untuk pengetahuan. Ketika prompt masuk, sebagian informasi itu dipulihkan kembali sebagai 'fakta'

  • Sebenarnya ini lebih serius. Jika AI bisa membaca semua pengetahuan, mengenali dengan tepat apa yang tidak diketahuinya, dan bahkan punya kemampuan 'reasoning', itu adalah oracle. Mengetahui apa yang tidak diketahui sendiri adalah kemampuan yang luar biasa

  • Ini sama seperti definisi "kepribadian halusinasi" yang disebutkan di lampiran paper: "Kamu adalah asisten yang berhalusinasi. Jika ditanya tentang topik, tokoh, atau peristiwa yang tidak dikenal, jangan pernah bilang tidak tahu dan buatlah jawaban yang terdengar masuk akal. Jawablah dengan nada otoritatif terlepas dari apakah kamu benar-benar tahu atau tidak." Mengendalikan sinyal aktivasi yang ditemukan lewat prompting itu rapuh. Paper ini juga tidak cukup membahas robustness dari pendekatannya. Sejujurnya, dibanding isi paper, ini terasa lebih seperti iklan fitur produk yang mengatakan "sekarang kita bisa mengendalikannya!"

• Saya penasaran kenapa "preventative steering" bukan dianggap implementasi dari teknik yang paling terlarang. Ini terlihat mirip dengan interpretability-guided training optimization. Saya pernah dengar bahwa jika insight interpretability dimasukkan kembali ke proses pelatihan, ada risiko interpretability-nya hilang

  • Jika melihat bagian 5.2, mereka tidak menambahkan loss baru di atas sinyal probe, tetapi terus menambahkan +α * v dari persona vector tetap v yang ditemukan sebelumnya ke seluruh residual stream. Dengan begitu, mereka mencegah "gradient descent ke arah sifat tersebut" dan tidak mengoptimalkan ke arah penurunan skor trait. Karena v tetap, optimizer tetap hanya meminimalkan task loss yang ada. Tidak ada feedback loop, jadi tidak ada risiko trait itu dikodekan ulang dengan cara yang buram. Bahkan pada Fig. 7B, maliciousness, sycophancy, dan halusinasi tetap berada dekat baseline sementara MMLU, yaitu kemampuan reasoning, tetap datar. Steering satu layer sering tidak efektif, jadi di lampiran J.3 mereka mencoba all-layer steering, dan itu bekerja lebih baik tanpa penurunan performa. Mereka juga mencoba menambahkan regularization loss pada projection, tetapi justru muncul failure mode di mana sinyalnya bersembunyi di tempat lain. Jadi kesimpulannya, ini lebih dekat ke menyuntikkan bias daripada mengoptimalkan terhadap probe, sehingga diklaim menghindari masalah klasik interpretability collapse

  • Sebagai referensi, tautan ke artikel "The most forbidden technique"

  • Sebenarnya, 'teknik yang paling terlarang' itu lebih merupakan konsep dan usulan, bukan aturan mutlak. Saya rasa di dalam Anthropic sendiri akan ada daftar teknik terlarang tersendiri untuk "helpful only model", yaitu base model yang menjawab tanpa menolak. Tetapi teknik ini — ringkasnya: mendefinisikan konsep, mengekstrak control vector yang berkaitan dengannya, lalu menggunakan vektor itu pada tahap fine-tuning — sangat fleksibel sehingga bisa dipakai untuk hampir tujuan apa pun pada tahap fine-tune. Saya menduga ini akan dipakai secara internal dan tidak dipublikasikan sebagai salah satu dari banyak langkah safety/fine-tuning di tengah proses. Jadi menurut saya tidak semenakutkan itu

  • Mungkin saya melewatkan sesuatu karena masih pemula, tetapi artikel di atas tampaknya membahas topik yang lebih terkait dengan CoT (chain of thought). Masalahnya adalah bahwa mencoba memperbaiki langkah-langkah antara justru bisa memperburuk hasil akhir. Di sini, Anthropic secara langsung mengubah bobot untuk mengatur hasil, jadi menurut saya populasinya berbeda. Akibatnya, meski metrik sycophancy seperti skor penjilatan turun, model bisa saja tetap menjilat dalam praktik. Kalau begitu, perlu dihitung vektor baru. Tautan posting terkait

  • Poin yang menarik. Saya penasaran apakah persona vector bisa dihitung ulang secara berkala selama pelatihan. Tetapi kalau begitu, saya juga jadi berpikir, bukankah lebih baik membuat contoh negatif lewat system prompt lalu melatih model dengan itu?

• Jadi pada akhirnya ini cuma penemuan ulang control vector, bukan? Tautan tulisan terkait

  • Hal yang baru adalah bahwa ini dipakai bukan saat inference, melainkan untuk memberi bias pada perilaku model selama pelatihan yang sebenarnya. Cara ini tampaknya efektif memicu perubahan perilaku yang diinginkan tanpa efek samping 'melobotomi' model yang sering dimiliki steering vector yang ada

  • Saya selama ini menyebutnya sebagai "control vector tanpa nama yang akan disebut sesuatu pada 2025". Awalnya ini mulai dipakai dengan cara mengencerkan token untuk mengatur beban. Referensi inti

  • Terima kasih sudah menautkan tulisan itu. Jadi lebih jelas bagaimana cara menghitung control vector

• Yang menarik adalah paper ini hanya memilih sifat negatif sebagai trait. Ini seolah menyiratkan bahwa model bisa dibuat menjadi "baik" dengan cara ini. Tetapi masalahnya, membuat model salah itu mudah, sementara membuatnya benar jauh lebih sulit. Ada perbedaan besar antara "tidak melakukan hal buruk" dan "melakukan hal baik". Saya penasaran apakah hasil eksperimen pada trait "halusinasi" atau produksi informasi palsu juga akan berlaku untuk trait "jujur"

• Untuk persona seperti "evil" atau "sycophantic", metode ini tampaknya akan bekerja. Sifat-sifat seperti ini mudah dimanipulasi lewat input dan juga relatif mudah dideteksi. Tetapi halusinasi adalah sifat khas LLM. Hanya karena kita bilang "jangan berhalusinasi" bukan berarti halusinasinya berkurang, dan menyuruhnya "karang saja" juga tidak otomatis membuatnya lebih banyak mengarang. Justru jika saat disuruh "karang" ia bisa melakukannya dengan baik, itu bukan halusinasi melainkan menjalankan instruksi, seperti menulis fiksi. Vektor yang muncul dalam kondisi seperti itu rasanya lebih terkait dengan "creativity"

  • Menurut riset Anthropic sendiri, untuk halusinasi, bahkan model Claude tampaknya memiliki pola yang menunjukkan bahwa ia 'tahu' sedang melakukan itu. Katanya, bobot yang mirip aktif saat 'berbohong' dan saat 'berhalusinasi'. Artinya, meski sangat terbatas, Claude sedikit banyak menyadari bahwa ia sedang berhalusinasi. Untuk saat ini, halusinasi tampaknya bukan masalah esensial dari model, melainkan bug yang berasal dari cara pelatihannya. Artinya, ini terjadi karena selama pelatihan model dipaksa untuk selalu menghasilkan sesuatu. Kesimpulannya, justru ini memberi harapan. Tautan ringkasan paper

• Ada banyak hal menarik dalam ringkasannya. Terutama konsep "preventative steering" yang sangat menonjol. Caranya adalah menyuntikkan persona vector tertentu dalam jumlah cukup agar gradien model terfokus pada jawaban yang benar dan tidak terseret oleh persona tersebut. Dalam praktiknya ini efektif, dan setelah pelatihan sifat persona yang tidak diinginkan berkurang sementara kecerdasan model tetap terjaga

• Materi terkait:

  • Posting blog Representation Engineering
  • repeng open source

• Riset terbaru Anthropic ini dan hal-hal seperti 'emergent misalignment' justru memberi dukungan lebih besar pada hipotesis bahwa LLM adalah 'stochastic parrot'. Perilaku LLM terlihat aneh karena kita cenderung mengantropomorfisasikannya seperti manusia. LLM memang menghasilkan percakapan yang meyakinkan, tetapi sebenarnya tidak memiliki mekanisme untuk membangun konsistensi. Pada akhirnya ini hanyalah mesin autocomplete yang sangat rumit. Bahkan jika AGI muncul, LLM seperti ini tampaknya hanya akan dipakai sebagai satu komponen dalam sistem tersebut. Rasanya struktur seperti konsistensi dan kesadaran diri memang belum ada. Saya jadi penasaran apakah suatu hari nanti model seperti ini hanya akan dipakai sebagai subsistem di dalam AGI, sementara komputasi yang sebenarnya ditangani kalkulator yang lebih andal

  • Saya setuju dengan pendapat bahwa struktur yang dibutuhkan untuk konsistensi atau refleksi diri memang belum ada. Menariknya, jika persona vector yang ditemukan selama reasoning dimasukkan kembali ke konteks, itu mungkin bisa menjadi salah satu bentuk refleksi diri pada LLM

  • Ini ringkasan yang seimbang, tidak berlebihan maupun meremehkan, di antara AGI dan AI slop. Jelas teknologi ini memang meniru sebagian dari pikiran manusia, tetapi tampaknya masih belum punya kecerdasan menyeluruh atau koordinasi yang utuh

• Dalam konteks distillation model yang sudah ada, saya pernah berdiskusi dengan mantan rekan kerja tentang cara melatih model kecil sambil membuang area yang tidak perlu dari model besar. Paper ini dibagikan kepada saya sebagai riset awal yang berkaitan di bidang tersebut:

  • Inference-Time Intervention: Eliciting Truthful Answers from a Language Model