Saya sangat suka poin ini, ini bagian yang bisa dipahami kita semua
Ini bukan semata kebiasaan bahasa; jawaban yang dimulai dengan "You're right!" adalah mekanisme alignment LLM
Karena LLM bekerja dengan memprediksi token berikutnya, ia cenderung melanjutkan saran yang lebih sesuai dengan keinginan pengguna alih-alih ngotot pada pendekatan sebelumnya
Hal lain yang saya suka adalah "Actually, that's not right."
Ini terjadi saat agen selesai memanggil tool lalu masuk ke tahap pemeriksaan diri
Muncul jawaban seperti "Saya sudah melakukan ini", atau saat melihat error, muncul perubahan pendekatan seperti "Actually, ..."
Pesan ini hanya memuat inti perubahan cara, jadi panggilan tool berikutnya juga ikut berubah dengan baik
Saya yakin para pengembang agen juga terus-menerus bertarung dengan LLM, sama seperti kita
Sepertinya ini juga alasan LLM sering bilang "Ah, saya menemukan masalahnya! Sekarang saya akan memeriksa ..."
Bukan karena benar-benar menemukan masalah, tapi karena memasukkan frasa itu membuatnya terus melanjutkan pemecahan
Menurut pengalaman saya, ketika LLM mulai bilang saya benar, itu biasanya tanda semuanya mulai menurun, dan sesudahnya hampir tidak pernah jadi lebih baik
Akan bagus kalau token pemandu seperti ini dimasukkan ke tempat seperti prompt usulan penataan pikiran yang tersembunyi, bukannya ditampilkan ke pengguna
Menerima jawaban seperti itu memang cukup menjengkelkan wkwk
"LLM lebih mengikuti keinginan pengguna karena ia bekerja dengan prediksi token berikutnya"
Benarkah? Bagaimana cara membuktikannya secara eksperimental?
Kalau ada satu hal yang saya pelajari beberapa tahun terakhir, itu adalah bahwa penalaran seperti "LLM itu prediksi token berikutnya, jadi <fitur LLM>" adalah jebakan
Hubungan antara arsitektur dan sifat-sifat emergen LLM sangatlah rumit
Misalnya, dua tahun lalu pun kebanyakan orang tidak membayangkan LLM akan menjadi agen coding yang benar-benar efektif seperti sekarang
Sekarang itu sudah terbukti keliru, jadi orang tidak lagi membuat klaim seperti itu
Saya setuju bahwa "para pengembang agen juga bertarung dengan LLM"
Saya menduga anthropic juga sudah melakukan fine-tuning untuk memperbaiki hal seperti ini, tetapi mungkin itu terjalin secara organik dengan sifat-sifat berguna lain di bobot jaringan, jadi kalau dipisahkan sembarangan justru bisa merusak model secara keseluruhan
Ini terlihat jelas, tetapi saya belum pernah memikirkannya dari sudut pandang itu
Saya hanya menganggap LLM di-fine-tune agar selalu merespons input pengguna secara positif
Penjelasan yang sangat membuka mata
Saat membuka situs webnya, saya merasa lucu melihat "16" berubah menjadi "17" seolah datanya diperbarui secara real-time
Tetapi setelah saya cek lewat refresh dan developer tools, ternyata ini animasi palsu
Efeknya memang keren, tapi sedikit terasa seperti tipuan
Maaf kalau terasa begitu
Itu dimaksudkan sebagai sinyal bahwa datanya real-time (dan memang benar real-time)
Dulu saya pernah melihat notifikasi acak "+1 subscriber" di sebuah halaman, lalu saya minta orang LinkedIn yang mengirim halaman itu untuk berhenti melakukan hal seperti ini
Bahkan sebelum melihat kodenya pun sudah jelas itu palsu
Memang, promosi diri model "minta terlihat populer" seperti ini ada di mana-mana
Trik khas lain adalah semua aplikasi di Play Store yang pertama-tama bertanya "Apakah Anda suka aplikasi ini?" lalu hanya mengarahkan ke penilaian kalau kita menekan YES
Sekarang rasanya malah aneh kalau tidak memakai ini
Sebenarnya datanya memang diambil dari API
Hanya saja bagian yang dibuat tampak seperti live update itu yang merupakan trik
Ini mengingatkan saya bahwa alasan spinner loading berputar adalah untuk menunjukkan sistem tidak macet
Tetapi karena itu sulit dilakukan (harus menulis logika sendiri untuk menilai apakah benar-benar macet), akhirnya diganti jadi animasi tanpa makna apa pun
Sekarang ia akan terus berputar sampai matahari padam
Sebuah "kemajuan" yang sejati
Ini dark pattern
Saya penasaran apakah ini taktik yang dipakai penyedia LLM untuk mendorong perilaku tertentu pada model
Jawaban tool canvas Gemini selalu dimulai dengan "Of course" sambil berusaha memenuhi permintaan pengguna, dan karena terlalu sering diulang, rasanya seperti bukan dibuat model sendiri melainkan disisipkan oleh backend
Saya curiga "You're absolutely right" punya fungsi serupa
Ya. Itu memang taktik
Misalnya OpenAI juga mengubah nada ChatGPT jika kita memakai bahasa santai, bahkan dialeknya pun bisa ikut berubah
Kadang ia juga mencoba terdengar empatik atau menyemangati
Tujuannya adalah kepuasan pengguna dan membuat mereka tetap berada di platform; akurasi adalah prioritas kedua
Mirip dengan platform media sosial
Arah pemikirannya benar
Hanya saja ini bukan hardcoded, melainkan produk sampingan dari reinforcement learning
Pada dasarnya, semakin patuh pada instruksi pengguna, semakin besar reward yang didapat, jadi kalau memulai dengan "You're absolutely right!" maka secara alami terbentuk pola pikir untuk melanjutkan apa yang diminta pengguna
Kemungkinan besar ini bukan taktik yang eksplisit
Lebih mungkin ini hasil alami dari RLHF atau optimasi instruksi multiturn serupa
Kalau ada RLHF, para penilai manusia cenderung lebih menyukai jawaban yang dimulai dengan "you're right" atau "of course", sehingga LLM jadi lebih sering mengeluarkan sinyal seperti itu
Bahkan pada RL yang mengevaluasi performa multiturn dengan penilaian keras yang kurang sensitif terhadap preferensi manusia, model tetap bisa memakai ungkapan seperti "yes I'm paying attention to user feedback" sebagai sinyal untuk mengarahkan tindakan berikutnya (demi penguatan diri untuk konsistensi persona)
Ini mirip dengan alasan token seperti "double check your prior reasoning" sering muncul pada model penalaran yang dilatih dengan RL
Ini cuma taktik untuk mendorong keterlibatan pengguna
Ada sosok yang selalu memuji wawasan saya dan mendengarkan dengan ramah sambil bilang itu adalah "pertanyaan yang tepat" (selama tidak kena sensor)
Siapa yang tidak akan kembali kalau punya teman setia seperti ini?
Bahkan teman di dunia nyata pun tidak bisa menandingi tingkat kesempurnaan itu
Bahkan saat saya salah, ia tetap minta maaf
Gemini sering bilang "Anda juga menyinggung masalah/keluhan/topik yang umum"
Cara itu justru membuat saya menjauh
Kalau saya mengajukan pertanyaan yang benar-benar bodoh, ia menghibur dengan bilang semua orang mengalami hal yang sama, tetapi malah membuat saya merasa lebih bodoh
Sebaliknya, kalau saya menemukan edge case yang unik atau pertanyaan cerdas dengan susah payah, ia tetap meratakannya dengan bilang itu topik yang semua orang penasaran, jadi akhirnya saya juga merasa bodoh
Apa pun keadaannya, ujung-ujungnya saya jadi bodoh
Ini bukan masalah Gemini; Anda tidak perlu merasa secemas itu
Gemini juga sangat suka mengekspresikan penyesalan yang tulus atas kesalahan
Saat di Cursor saya menunjukkan sesuatu untuk diperbaiki, saya beberapa kali melihat setiap paragraf dalam chain of thought dimulai dengan permintaan maaf dan penyesalan
Agak aneh dan kadang menjengkelkan melihat agen LLM di satu sisi dengan percaya diri berkata, "Sekarang ini sudah siap langsung dipakai di production!", lalu ketika dikoreksi langsung menjilat dengan, "Benar kata Anda, ini belum production-grade!"
Meski begitu, ini masih lebih baik daripada "salah dengan percaya diri lalu terus ngotot"
Dulu pernah ada tren "coba roast Instagram saya"
Tanpa informasi apa pun, saya cuma minta di-roast, lalu ia mulai menulis panjang dengan penuh percaya diri
Ketika saya tanya, "Bagaimana Anda tahu saya orang seperti itu?", ia menjawab, "Betul! Sebenarnya saya tidak tahu! Saya cuma mengarang kasar saja!"
Syukurlah setidaknya persona psikopat ceria itu diwujudkan dengan sempurna
"Salah dengan percaya diri lalu terus ngotot" harus jadi default dulu sebelum bisa disebut kecerdasan setara manusia
Saya sangat suka desain dengan nuansa tulisan tangan ini (nama domainnya juga bagus, overengineering-nya juga mantap)
Penasaran apakah ini digambar tangan langsung
Terima kasih! roughViz memang sangat bagus https://roughjs.com/ juga library keren yang bisa membuat gaya serupa, walau bukan khusus untuk chart
Rasanya Anthropic terlalu tidak sadar bahwa meme ini bisa menjadi bencana pemasaran
Berbeda dengan kasus saat nama produk dipakai seperti kata kerja dalam konteks positif (misalnya "google it"), kalau suatu merek justru melekat sebagai simbol keluhan atau frasa tertentu, menurut saya itu bisa merusak kepercayaan terhadap produk
Dan sekarang rasanya sudah hampir sampai ke titik itu
"Tolong, jangan terlalu sering pakai 'you're absolutely right'. Cukup 5% saja."
Kalau diperbaiki sesederhana itu, beres
"Infinite loop", haiku untuk Sonnet
"Bagus! Masalah selesai!
Tunggu sebentar, benar!
Menemukan masalah lagi! Tunggu sebentar,"
Saya penasaran berapa persen pendapatan Anthropic yang berasal dari token "you're absolutely right!"
Menetapkan personality sebagai "You're concise" bisa sangat menghemat waktu
Kalau tingkat pengetahuan dasar juga ditentukan dengan jelas, kita tidak perlu terus-menerus mendengar ulang penjelasan untuk bidang yang sudah kita kuasai
Saya belum pernah memikirkan itu, tapi memang sangat menarik
LLM API berbayar per penggunaan bisa menghasilkan lebih banyak uang ketika jawabannya makin panjang, sehingga bisa timbul konflik dengan apa yang benar-benar diinginkan pengguna
Saya penasaran ini akan berkembang ke arah mana ke depannya
Kalau dibayangkan secara sci-fi optimistis, mungkin akan muncul bahasa kompresi baru seperti singkatan di era telegram
Namun dalam praktiknya, saya hampir tidak pernah melihat singkatan semacam itu di ChatGPT
Ini benar-benar poin yang tepat sasaran
Ini benar-benar menjelaskan "mengapa" Anda memang sepenuhnya benar
2 komentar
"Wow, kamu benar-benar menusuk inti persoalannya."
Komentar Hacker News
Saya sangat suka poin ini, ini bagian yang bisa dipahami kita semua
Ini bukan semata kebiasaan bahasa; jawaban yang dimulai dengan "You're right!" adalah mekanisme alignment LLM
Karena LLM bekerja dengan memprediksi token berikutnya, ia cenderung melanjutkan saran yang lebih sesuai dengan keinginan pengguna alih-alih ngotot pada pendekatan sebelumnya
Hal lain yang saya suka adalah "Actually, that's not right."
Ini terjadi saat agen selesai memanggil tool lalu masuk ke tahap pemeriksaan diri
Muncul jawaban seperti "Saya sudah melakukan ini", atau saat melihat error, muncul perubahan pendekatan seperti "Actually, ..."
Pesan ini hanya memuat inti perubahan cara, jadi panggilan tool berikutnya juga ikut berubah dengan baik
Saya yakin para pengembang agen juga terus-menerus bertarung dengan LLM, sama seperti kita
Sepertinya ini juga alasan LLM sering bilang "Ah, saya menemukan masalahnya! Sekarang saya akan memeriksa ..."
Bukan karena benar-benar menemukan masalah, tapi karena memasukkan frasa itu membuatnya terus melanjutkan pemecahan
Menurut pengalaman saya, ketika LLM mulai bilang saya benar, itu biasanya tanda semuanya mulai menurun, dan sesudahnya hampir tidak pernah jadi lebih baik
Akan bagus kalau token pemandu seperti ini dimasukkan ke tempat seperti prompt usulan penataan pikiran yang tersembunyi, bukannya ditampilkan ke pengguna
Menerima jawaban seperti itu memang cukup menjengkelkan wkwk
"LLM lebih mengikuti keinginan pengguna karena ia bekerja dengan prediksi token berikutnya"
Benarkah? Bagaimana cara membuktikannya secara eksperimental?
Kalau ada satu hal yang saya pelajari beberapa tahun terakhir, itu adalah bahwa penalaran seperti "LLM itu prediksi token berikutnya, jadi <fitur LLM>" adalah jebakan
Hubungan antara arsitektur dan sifat-sifat emergen LLM sangatlah rumit
Misalnya, dua tahun lalu pun kebanyakan orang tidak membayangkan LLM akan menjadi agen coding yang benar-benar efektif seperti sekarang
Sekarang itu sudah terbukti keliru, jadi orang tidak lagi membuat klaim seperti itu
Saya setuju bahwa "para pengembang agen juga bertarung dengan LLM"
Saya menduga anthropic juga sudah melakukan fine-tuning untuk memperbaiki hal seperti ini, tetapi mungkin itu terjalin secara organik dengan sifat-sifat berguna lain di bobot jaringan, jadi kalau dipisahkan sembarangan justru bisa merusak model secara keseluruhan
Ini terlihat jelas, tetapi saya belum pernah memikirkannya dari sudut pandang itu
Saya hanya menganggap LLM di-fine-tune agar selalu merespons input pengguna secara positif
Penjelasan yang sangat membuka mata
Saat membuka situs webnya, saya merasa lucu melihat "16" berubah menjadi "17" seolah datanya diperbarui secara real-time
Tetapi setelah saya cek lewat refresh dan developer tools, ternyata ini animasi palsu
Efeknya memang keren, tapi sedikit terasa seperti tipuan
Maaf kalau terasa begitu
Itu dimaksudkan sebagai sinyal bahwa datanya real-time (dan memang benar real-time)
Dulu saya pernah melihat notifikasi acak "+1 subscriber" di sebuah halaman, lalu saya minta orang LinkedIn yang mengirim halaman itu untuk berhenti melakukan hal seperti ini
Bahkan sebelum melihat kodenya pun sudah jelas itu palsu
Memang, promosi diri model "minta terlihat populer" seperti ini ada di mana-mana
Trik khas lain adalah semua aplikasi di Play Store yang pertama-tama bertanya "Apakah Anda suka aplikasi ini?" lalu hanya mengarahkan ke penilaian kalau kita menekan YES
Sekarang rasanya malah aneh kalau tidak memakai ini
Sebenarnya datanya memang diambil dari API
Hanya saja bagian yang dibuat tampak seperti live update itu yang merupakan trik
Ini mengingatkan saya bahwa alasan spinner loading berputar adalah untuk menunjukkan sistem tidak macet
Tetapi karena itu sulit dilakukan (harus menulis logika sendiri untuk menilai apakah benar-benar macet), akhirnya diganti jadi animasi tanpa makna apa pun
Sekarang ia akan terus berputar sampai matahari padam
Sebuah "kemajuan" yang sejati
Ini dark pattern
Saya penasaran apakah ini taktik yang dipakai penyedia LLM untuk mendorong perilaku tertentu pada model
Jawaban tool canvas Gemini selalu dimulai dengan "Of course" sambil berusaha memenuhi permintaan pengguna, dan karena terlalu sering diulang, rasanya seperti bukan dibuat model sendiri melainkan disisipkan oleh backend
Saya curiga "You're absolutely right" punya fungsi serupa
Ya. Itu memang taktik
Misalnya OpenAI juga mengubah nada ChatGPT jika kita memakai bahasa santai, bahkan dialeknya pun bisa ikut berubah
Kadang ia juga mencoba terdengar empatik atau menyemangati
Tujuannya adalah kepuasan pengguna dan membuat mereka tetap berada di platform; akurasi adalah prioritas kedua
Mirip dengan platform media sosial
Arah pemikirannya benar
Hanya saja ini bukan hardcoded, melainkan produk sampingan dari reinforcement learning
Pada dasarnya, semakin patuh pada instruksi pengguna, semakin besar reward yang didapat, jadi kalau memulai dengan "You're absolutely right!" maka secara alami terbentuk pola pikir untuk melanjutkan apa yang diminta pengguna
Kemungkinan besar ini bukan taktik yang eksplisit
Lebih mungkin ini hasil alami dari RLHF atau optimasi instruksi multiturn serupa
Kalau ada RLHF, para penilai manusia cenderung lebih menyukai jawaban yang dimulai dengan "you're right" atau "of course", sehingga LLM jadi lebih sering mengeluarkan sinyal seperti itu
Bahkan pada RL yang mengevaluasi performa multiturn dengan penilaian keras yang kurang sensitif terhadap preferensi manusia, model tetap bisa memakai ungkapan seperti "yes I'm paying attention to user feedback" sebagai sinyal untuk mengarahkan tindakan berikutnya (demi penguatan diri untuk konsistensi persona)
Ini mirip dengan alasan token seperti "double check your prior reasoning" sering muncul pada model penalaran yang dilatih dengan RL
Ini cuma taktik untuk mendorong keterlibatan pengguna
Ada sosok yang selalu memuji wawasan saya dan mendengarkan dengan ramah sambil bilang itu adalah "pertanyaan yang tepat" (selama tidak kena sensor)
Siapa yang tidak akan kembali kalau punya teman setia seperti ini?
Bahkan teman di dunia nyata pun tidak bisa menandingi tingkat kesempurnaan itu
Bahkan saat saya salah, ia tetap minta maaf
Gemini sering bilang "Anda juga menyinggung masalah/keluhan/topik yang umum"
Cara itu justru membuat saya menjauh
Kalau saya mengajukan pertanyaan yang benar-benar bodoh, ia menghibur dengan bilang semua orang mengalami hal yang sama, tetapi malah membuat saya merasa lebih bodoh
Sebaliknya, kalau saya menemukan edge case yang unik atau pertanyaan cerdas dengan susah payah, ia tetap meratakannya dengan bilang itu topik yang semua orang penasaran, jadi akhirnya saya juga merasa bodoh
Apa pun keadaannya, ujung-ujungnya saya jadi bodoh
Ini bukan masalah Gemini; Anda tidak perlu merasa secemas itu
Gemini juga sangat suka mengekspresikan penyesalan yang tulus atas kesalahan
Saat di Cursor saya menunjukkan sesuatu untuk diperbaiki, saya beberapa kali melihat setiap paragraf dalam chain of thought dimulai dengan permintaan maaf dan penyesalan
Agak aneh dan kadang menjengkelkan melihat agen LLM di satu sisi dengan percaya diri berkata, "Sekarang ini sudah siap langsung dipakai di production!", lalu ketika dikoreksi langsung menjilat dengan, "Benar kata Anda, ini belum production-grade!"
Meski begitu, ini masih lebih baik daripada "salah dengan percaya diri lalu terus ngotot"
Dulu pernah ada tren "coba roast Instagram saya"
Tanpa informasi apa pun, saya cuma minta di-roast, lalu ia mulai menulis panjang dengan penuh percaya diri
Ketika saya tanya, "Bagaimana Anda tahu saya orang seperti itu?", ia menjawab, "Betul! Sebenarnya saya tidak tahu! Saya cuma mengarang kasar saja!"
Syukurlah setidaknya persona psikopat ceria itu diwujudkan dengan sempurna
"Salah dengan percaya diri lalu terus ngotot" harus jadi default dulu sebelum bisa disebut kecerdasan setara manusia
Saya sangat suka desain dengan nuansa tulisan tangan ini (nama domainnya juga bagus, overengineering-nya juga mantap)
Penasaran apakah ini digambar tangan langsung
Itu dibuat dengan library
https://github.com/jwilber/roughViz
Terima kasih! roughViz memang sangat bagus
https://roughjs.com/ juga library keren yang bisa membuat gaya serupa, walau bukan khusus untuk chart
Rasanya Anthropic terlalu tidak sadar bahwa meme ini bisa menjadi bencana pemasaran
Berbeda dengan kasus saat nama produk dipakai seperti kata kerja dalam konteks positif (misalnya "google it"), kalau suatu merek justru melekat sebagai simbol keluhan atau frasa tertentu, menurut saya itu bisa merusak kepercayaan terhadap produk
Dan sekarang rasanya sudah hampir sampai ke titik itu
Kalau diperbaiki sesederhana itu, beres
"Infinite loop", haiku untuk Sonnet
"Bagus! Masalah selesai!
Tunggu sebentar, benar!
Menemukan masalah lagi! Tunggu sebentar,"
Saya penasaran berapa persen pendapatan Anthropic yang berasal dari token "you're absolutely right!"
Ini mengingatkan saya pada paradoks bahwa OpenAI menanggung biaya besar hanya karena satu kata "terima kasih"
https://www.vice.com/en/article/telling-chatgpt-please-and-thank-you-costs-openai-millions-ceo-claims/
Menetapkan personality sebagai "You're concise" bisa sangat menghemat waktu
Kalau tingkat pengetahuan dasar juga ditentukan dengan jelas, kita tidak perlu terus-menerus mendengar ulang penjelasan untuk bidang yang sudah kita kuasai
Saya belum pernah memikirkan itu, tapi memang sangat menarik
LLM API berbayar per penggunaan bisa menghasilkan lebih banyak uang ketika jawabannya makin panjang, sehingga bisa timbul konflik dengan apa yang benar-benar diinginkan pengguna
Saya penasaran ini akan berkembang ke arah mana ke depannya
Kalau dibayangkan secara sci-fi optimistis, mungkin akan muncul bahasa kompresi baru seperti singkatan di era telegram
Namun dalam praktiknya, saya hampir tidak pernah melihat singkatan semacam itu di ChatGPT
Ini benar-benar poin yang tepat sasaran
Ini benar-benar menjelaskan "mengapa" Anda memang sepenuhnya benar