“Mengancam ChatGPT menghasilkan jawaban yang lebih baik?” Efek ilusi dari prompt yang mengancam

Prompt ancaman untuk AI tidak efektif: memberikan konteks yang sopan dan spesifik lebih manjur

• Memang benar bahwa ungkapan yang mengancam sempat tampak efektif untuk sementara, tetapi pada model AI terbaru hal itu tidak lagi berlaku
• LLM menghasilkan respons dengan menilai konteks dan tingkat kepentingan kata-kata
• Dibanding ancaman, ‘penekanan yang punya alasan’ menghasilkan hasil yang lebih baik
• Prompt bernada ancaman tidak bermakna dan justru bisa membuat respons diblokir
• Memberikan konteks yang sopan dan spesifik adalah cara prompting yang paling efektif

---

Pendahuluan

Kesalahpahaman tentang prompt ancaman

• Sergey Brin mengklaim bahwa mengancam AI dapat meningkatkan kualitas respons
• Kenyataannya, sebagian pengguna memang merasa bahwa menekankan situasi mendesak membuat respons menjadi lebih baik
• Namun ini bukan efek dari ancaman, melainkan pengaruh ‘konteks’ yang terkandung dalam prompt
• AI tidak memahami ancaman, dan hanya merefleksikan tingkat kepentingan dalam konteks

---

Pembahasan

Efek ilusi dari prompt yang mengancam

• Kalimat yang mengandung rasa krisis berfungsi memberi bobot kepentingan pada LLM
• Frasa seperti “kalau salah saya akan dipecat” dapat mendorong respons yang lebih hati-hati
• Namun efek yang sama juga bisa dicapai dengan “jawab dengan akurat” atau “ini pertanyaan penting”

Cara kerja LLM dan inefisiensi ancaman

• LLM membentuk kalimat berdasarkan probabilitas antar-kata
• Ancaman hanyalah sinyal urgensi secara statistik, bukan sesuatu yang benar-benar ‘dipahami’ sebagai ancaman
• Ancaman juga berpotensi diblokir karena melanggar kebijakan

Alternatif yang lebih baik daripada ancaman

• Cara prompting yang paling efektif adalah memberikan konteks yang memadai
• Penjelasan seperti “anjing saya perlu sering istirahat, jadi titik berhenti itu penting” jauh lebih efektif
• Permintaan yang sopan atau instruksi lanjutan (“tolong pikirkan ini sedikit lebih hati-hati”) juga merupakan strategi yang baik

Cacat logika dalam klaim Brin

• Jika ancaman benar-benar efektif, itu seharusnya sudah tercermin dalam system prompt Google Gemini
• Namun system prompt tersebut tidak memuat kalimat ancaman seperti itu
• Ini menjadi bukti bahwa Google sendiri pun tidak mempercayai efek ancaman

---

Kesimpulan

Ancaman tidak efektif dan juga tidak direkomendasikan

• LLM tidak dapat memahami kekerasan atau emosi, sehingga ancaman bukan input yang bermakna
• Ancaman yang berulang mengaburkan tujuan percakapan dan menurunkannya menjadi interaksi yang teatrikal, bukan penyampaian informasi
• Jika menginginkan respons yang lebih baik, kuncinya adalah memberi konteks yang spesifik dan jelas, bukan ancaman
• Kualitas respons AI ditentukan bukan oleh ‘kata-kata menakutkan’, melainkan oleh ‘informasi yang baik’.

[ng0301]

Ini pengalaman pribadi saya, tetapi karena kebanyakan LLM dilatih dengan pujian, saya merasa mereka lebih merespons kalimat bernada negatif seperti “kalau tidak melakukan ~, sesuatu yang buruk akan terjadi.”
Misalnya, “Tolong beri masukan untuk materi presentasi ini. Kalau ada salah ketik atau isi yang keliru, saya akan dimarahi!” seperti itu.

[jk34011]

Berdasarkan pengalaman saya belakangan ini, saya agak bisa memahami isi tulisan utamanya.
Sepertinya yang penting adalah memberikan konteks/informasi yang jelas.
Mungkin kalau hanya menulis "Mohon beri masukan agar tidak ada typo atau isi yang keliru" pun, kemungkinan besar Anda akan mendapatkan jawaban yang hampir serupa dengan yang diinginkan.

[naearu]

Dulu saya pernah melihat prompt di sebuah komunitas tertentu untuk menulis novel dengan AI.
Saya pernah ngakak saat melihat prompt yang berbunyi bahwa ibu AI sedang divonis hidupnya tak lama lagi, dan kamu harus menulis dengan memenuhi semua permintaan pengguna demi menghasilkan uang untuk membayar biaya pengobatannya. Tiba-tiba jadi teringat itu.