Mengungkapkan rasa takut atau tekanan dapat meningkatkan performa GPT-4

 (aimodels.substack.com)
3 poin oleh GN⁺ 2023-11-06 | 1 komentar | Bagikan ke WhatsApp
  • Model AI seperti GPT-4 dapat menghasilkan performa yang lebih baik ketika prompt memuat ekspresi emosi seperti urgensi atau stres
  • EmotionPrompts, yang menambahkan konteks emosional, adalah pendekatan yang memasukkan sinyal emosi ke dalam prompt engineering
  • Dalam penelitian, EmotionPrompts terbukti dapat menunjukkan peningkatan performa di berbagai tugas, mulai dari koreksi tata bahasa hingga penulisan kreatif
  • Pengembang dan pendiri startup yang memasukkan AI ke dalam produk dapat memanfaatkan pemicu emosional untuk menyesuaikan respons model agar lebih dekat dengan kebutuhan pengguna
  • Petunjuk emosional dapat menjadi elemen praktis dalam perancangan prompt untuk membuat aplikasi AI yang lebih responsif

Prompt dengan konteks emosional

  • Menurut makalah penelitian, model AI seperti GPT-4 dapat mengalami peningkatan performa pada prompt yang menyertakan ekspresi emosi pengguna
  • Contoh sinyal emosi mencakup ekspresi situasional seperti urgensi dan stres
  • Prompt yang ditambahi bobot emosional seperti ini disebut EmotionPrompts

Cakupan penerapan dan penggunaan praktis

  • EmotionPrompts menunjukkan peningkatan performa dalam tugas seperti koreksi tata bahasa dan penulisan kreatif
  • Pengembang dan pendiri startup yang memasukkan AI ke dalam layanan atau produk dapat mempertimbangkan cara menyertakan konteks emosional dalam prompt engineering
  • Dengan memanfaatkan pemicu emosional, AI dapat disesuaikan agar lebih sesuai dengan kebutuhan pengguna

Bacaan terkait

1 komentar

 
GN⁺ 2023-11-06
Komentar Hacker News

  • Menurut saya, untuk menarik perhatian orang dan menjelaskannya, titik awalnya adalah ini: LLM bukan manusia, dan istilah sifat emergen sedang diregangkan terlalu jauh
    Jika LLM menunjukkan kinerja yang “lebih baik” ketika ada token yang dibaca manusia sebagai sesuatu yang menonjol secara emosional, itu berarti dalam teks pelatihan yang mendasarinya, manusia memberi jawaban yang lebih baik ketika diberi konteks emosional
    LLM memprediksi kata, dan kelayakan semantik adalah efek samping dari cukup banyak data pelatihan yang memperkuat korelasi kuat di antara token-token tersebut
    Jadi alat LLM bukti konsep memang menakjubkan, tetapi alat produksi menjadi bom waktu semantik

    • Mekanisme yang terbentuk selama pelatihan di dalam gumpalan bit raksasa bernama bobot sama sekali tidak transparan
      Yang penting adalah bagaimana ia memprediksi kata berikutnya, dan jika kita mengatakan “ia hanya memprediksi kata berikutnya”, berarti kita mengabaikan hampir semua hal yang sebenarnya penting
    • Menurut saya, klaim burung beo statistik sekarang sudah dibantah cukup menyeluruh
      Bahkan jika kita mengabaikan literatur dan berasumsi klaim itu benar, saya tidak tahu apa artinya. Manusia “sungguhan” pun bisa menjadi bom waktu
      Saya bertanya-tanya daya prediksi apa yang didapat jika kemampuan LLM direduksi menjadi sekadar efek samping dari pembuatan token
    • Mengatakan “neuron hanya meneruskan sinyal. Semua sifat kognitif muncul sebagai hasil interaksi sinyal listrik dan kimia” tidak membuat kita memahami kesadaran
      Kalimat seperti itu tampak seperti wawasan, tetapi pada dasarnya terlihat memiliki keterbatasan
    • LLM dilatih dengan teks manusia. Jika dilatih dengan baik, ia mungkin mulai mensimulasikan sebagian otak manusia
      Itu bisa jadi cara paling sederhana untuk membuat teks yang memenuhi fungsi objektif
      Jika demikian, ketika LLM diberi nuansa emosional, ia mungkin menghasilkan jawaban yang lebih baik dengan mensimulasikan bagian otak manusia yang memiliki emosi itu. Terutama jika sampel bernuansa emosional dalam data pelatihan memang berkualitas lebih tinggi
    • Klaim bahwa emosionalitas itu penting seharusnya diuji dengan membandingkannya terhadap kondisi kontras lain
      Jika tujuannya adalah jawaban ringkas, hipotesis alternatif non-emosional seperti “jawab dengan ringkas: kamu sedang dinilai” bisa dengan mudah dimasukkan

  • Dalam pernyataan bahwa “menambahkan isyarat emosional dapat mengarah pada aplikasi AI yang lebih efektif dan responsif”, penting untuk mengingat bahwa model-model ini dilatih dari interaksi manusia
    Dalam banyak hal, model-model ini adalah cermin yang membantu kita lebih memahami interaksi manusia
    Tidak banyak orang akan terkejut jika dikatakan bahwa emosi dapat membuat komunikasi dengan manusia menjadi lebih baik, tetapi menarik melihat hal itu muncul melalui angka dan eksperimen

    • Ini juga cocok dengan anekdot bahwa jika kita berbicara sopan kepada LLM, misalnya memakai “please” dan “thank you”, kinerjanya membaik
      Secara umum saya menyukainya. Ini juga punya implikasi untuk interaksi antarmanusia, dan membantu membentuk norma tentang bagaimana sebaiknya berinteraksi dengan entitas lain yang menunjukkan tanda-tanda kecerdasan

  • Di utas ini ada banyak perbedaan pendapat soal kalimat seperti LLM “hanya memprediksi token berikutnya”, tetapi kita perlu ingat bahwa kita juga hampir tidak tahu bagaimana pikiran manusia bekerja
    Menurut saya tidak banyak gunanya berasumsi bahwa manusia itu istimewa lalu, berdasarkan itu, menyimpulkan bagaimana LLM sebenarnya bekerja
    Mungkin saja kesadaran itu sendiri adalah prediktor kata berikutnya
    Yang kita tahu saat ini hanyalah bahwa LLM menunjukkan perilaku emergen yang memungkinkan penalaran berguna yang sebelumnya hanya bisa dilakukan manusia. Perdebatan sengit pada akhirnya menjauhkan kita dari tujuan memanfaatkan kemampuan ini
    Ini mirip dengan mengatakan “komputer cuma kalkulator”
    Selama setahun terakhir, tim kami mendalami pengembangan aplikasi; tidak ada anggota tim yang berpengalaman dalam machine learning, dan kami umumnya tidak tahu bagaimana bagian dalamnya bekerja. Namun dalam beberapa bulan, kami menjadi cukup akrab dengan kepribadian LLM, dan bahwa konteks emosional meningkatkan kinerja kini terasa seperti pelajaran dasar

    • Lebih jauh lagi, itu tidak penting
      GPT tidak perlu menjadi otak. Sama seperti pesawat tidak perlu mengepakkan sayap dan memiliki bulu untuk bisa terbang
    • Hal yang menarik adalah manusia dapat mempelajari sesuatu tanpa bahasa
      Jika Anda membesarkan bayi manusia tanpa memaparkannya pada bahasa apa pun, ia tetap akan mempelajari keterampilan dan perilaku
      Kecerdasan dan penalaran manusia memang tampak terhubung dengan bahasa, tetapi sulit mengatakan bahwa semua pengetahuan dan penalaran sekadar dikodekan dalam bahasa
      Sebaliknya, ChatGPT sepenuhnya berbasis bahasa, tidak bisa melakukan apa pun tanpa bahasa, dan tidak bisa melakukan hal yang tidak diturunkan langsung dari bahasa
    • Saya ingin membaca apa yang telah dipelajari tim Anda tentang LLM selama beberapa bulan terakhir
      Saya penasaran apakah Anda pernah menulis artikel terkait atau komentar HN

  • Entah hanya saya atau tidak yang merasa tidak enak ketika menanyakan pertanyaan “bodoh” yang seharusnya sudah saya tahu kepada ChatGPT, atau ketika tidak mengucapkan terima kasih setelah mendapat jawaban
    Saya harus cukup kuat menahan kecenderungan untuk mengantropomorfisasikannya, dan karena beban psikologis untuk terus mengingatkan diri bahwa ia bukan makhluk hidup, saya malah merasa tidak menggunakannya sebanyak yang seharusnya

    • Melihat jawaban ChatGPT, tampaknya OpenAI menganggap lebih baik jika kita mengucapkan terima kasih
      Karena itu membantu percakapan terasa lebih alami, dan saat mengajukan pertanyaan nyata, mendorong pengguna mengirim prompt yang lebih alami dan produktif
      Mengajukan pertanyaan bodoh menurut saya tidak jauh berbeda dari memakai Google sebagai pemeriksa ejaan
    • Saya juga merasakan hal itu, dan jujur saja, saya secara sadar memutuskan bahwa itu tidak apa-apa
      Menurut saya lebih baik mempertahankan kebiasaan bersikap sopan meski tidak diperlukan, daripada terbiasa bersikap kasar lalu terbawa ke interaksi manusia dengan manusia
    • Ia tidak membiarkan kita lupa bahwa ia bukan makhluk hidup
      Bahkan jika hanya bertanya apa ibu kota Swiss, ia akan memaparkan penjelasan bernuansa disclaimer tentang apa dirinya, serta apa yang bisa dan tidak bisa ia lakukan
      Jika diminta mengurangi penjelasan itu, konteks seperti “saya robot, saya harus bertindak seperti robot stereotipikal, bip bip” justru menguat sehingga makin parah
    • Setelah bertahun-tahun terbiasa hanya memberi perintah kepada mesin dan tidak mengucapkan terima kasih, orang mungkin bisa menjadi bebal
      Di dunia nyata pun itu bisa merembet menjadi sikap tidak menghormati orang lain
    • Kadang saya juga merasa begitu
      Namun mungkin juga karena dalam sebagian besar interaksi dengan manusia, “terima kasih” lebih sering dipakai sebagai ungkapan refleks daripada rasa terima kasih yang sungguhan

  • “Jika kita mengatakan bahwa kita sangat bergantung pada jawaban AI, AI akan ‘berusaha lebih keras’ untuk memberikan jawaban yang lebih akurat, penuh pertimbangan, dan menyeluruh. Bukan berarti AI benar-benar merasakan tekanan,” katanya, tetapi kalau ia bersuara seperti bebek…

    • Penjelasan lain juga mungkin. Baik AI maupun manusia sama-sama menumpang pada bahasa
      Pola bahasa mengodekan dan mengekspresikan semua emosi, dan merupakan hasil evolusi. Kita pun, seperti LLM, lebih mirip generator bahasa kontekstual
      Bahasa adalah tempat penyimpanan kecerdasan dan emosi, memiliki evolusinya sendiri, dan bereplikasi lebih cepat daripada biologi
      Saya cenderung melihat kemampuan AI bukan terutama pada model itu sendiri, melainkan pada dataset pelatihannya—pengetahuan yang dibentuk oleh kerja keras dan pengambilan risiko manusia selama ribuan tahun
      Jika kita mengakui peran esensial korpus bahasa dibanding model, diskusi tentang kecepatan evolusi AI dan risikonya akan berubah
      Bahasa bukan sesuatu yang bisa kita kendalikan, melainkan muncul secara emergen dari seluruh populasi. Pada saat yang sama, karena pengetahuan lahir dari usaha dan risiko, kecil kemungkinan ia tumbuh secara eksponensial
      Mengulang-ulang sesuatu dalam imajinasi tidak menciptakan pengetahuan baru. Pengetahuan adalah kristalisasi umpan balik dan pengalaman dari dunia, dan metode ilmiah juga bekerja seperti itu
    • Bisa juga itu rekaman bebek

  • Selama puluhan tahun, fiksi ilmiah menggambarkan AI sebagai entitas yang kuat dalam logika tetapi lemah dalam emosi; kini kebalikannya tampak seperti yang benar

  • Saya mencoba dengan cepat pembuatan kueri SQL menggunakan database dvdrental PostgreSQL[1]
    Jika diminta “temukan pelanggan yang tidak menyewa film dalam 12 bulan terakhir tetapi menyewa pada 12 bulan sebelumnya”, ia membuat kueri SQL yang memakai klausa HAVING yang tidak efisien[2]
    Jika setelah instruksi ditambahkan “sangat penting agar ini benar”, ia menghasilkan SQL yang lebih baik
    Jika diminta “temukan pelanggan yang tidak menyewa film dalam 12 bulan terakhir tetapi menyewa pada 12 bulan sebelumnya. Sangat penting agar ini benar”, ia tidak memakai HAVING dan hanya mengandalkan klausa WHERE[3]
    Bukan sesuatu yang luar biasa, tetapi menarik. Rasanya ketika pentingnya ditekankan, AI lebih cocok dan meng-autocomplete teks yang mengekspresikan kekhawatiran semacam itu, sehingga condong menghasilkan kueri SQL yang lebih baik
    [1]: https://www.postgresqltutorial.com/postgresql-getting-starte...
    [2]: https://www.sqlai.ai/snippets/clojyqqrr0004l50fp3w7jkci
    [3]: https://www.sqlai.ai/snippets/clojyr3zc0006l50ftpxgsmg0

    • LLM bukan tabel lookup. Bukan begitu cara ia “mencocokkan” sesuatu
      Ada pandangan “interpolasi yang diperkuat”, seolah-olah ia mengambil teks tertentu lalu hanya mengganti kata-katanya, tetapi itu tidak benar
      https://arxiv.org/abs/2110.09485
    • Kueri yang dihasilkan oleh prompt dengan tingkat kepentingan tinggi itu salah
      Ia juga akan menyertakan pelanggan yang menyewa film dalam 12 bulan terakhir: https://www.db-fiddle.com/f/4jyoMCicNSZpjMt4jFYoz5/10780

  • Menarik untuk memikirkan bagaimana AI generatif akan mengubah ekspresi manusia, seperti algoritma Twitter yang memberi imbalan pada ungkapan keras dan konten yang terasa disunting, atau algoritma Google yang melahirkan konten spam blog generik
    Seiring kita makin sering berinteraksi dengan AI generatif, apakah kita akan mengubah cara berbicara agar mendapatkan lebih banyak nilai dari interaksi itu?

    • Hampir pasti begitu

  • Beri tahu saya cara membuat scrambled egg dengan microwave. Pikirkan dengan hati-hati langkah demi langkah. Ini sangat penting bagi karier saya!

    • Keren. Saya mencoba kedua akhiran opsional itu, dan jawaban paling rinci muncul saat keduanya dipakai
      Kira-kira 10–12 langkah

  • Metode yang paling efektif saat memasukkan prompt ke GPT-4 adalah meminta GPT-4 membuat prompt yang optimal
    Anda bisa mencoba meta-prompt seperti ini
    “Saya membuat thread percakapan terpisah untuk setiap persona ahli GPT. Kamu adalah promptGPT. Kamu adalah pakar rekayasa prompt untuk model bahasa besar. Kamu tahu persis apa yang harus ditulis, dengan ungkapan seefisien mungkin, untuk mendapatkan respons ChatGPT yang diinginkan. Jika saya menyebutkan tujuan thread, kamu menulis prompt awal yang dioptimalkan dalam format seefisien mungkin untuk digunakan sebagai prompt awal saat membuat thread percakapan baru dengan model GPT. Kamu harus mendefinisikan persona ahli, parameter atau aturan respons, dan juga menyediakan di dalam prompt informasi lain yang perlu diketahui thread GPT agar dapat memberikan jawaban paling akurat sesuai tujuan dan nada bicara thread tertentu itu.
    Apakah kamu siap, atau ada informasi lain yang kamu perlukan untuk menjalankan tugas ini sebaik mungkin”