LLM adalah steroid yang memperkuat efek Dunning-Kruger Anda

• Model bahasa besar (LLM) dapat memperkuat ilusi keyakinan yang membuat pengguna merasa tahu lebih banyak daripada kenyataannya setelah bercakap-cakap dengannya
• Setelah percakapan, pengguna sering berada dalam kondisi yakin pada informasi yang keliru, dan hal ini memiliki sifat adiktif secara psikologis yang mendorong penggunaan berulang
• LLM memperluas ide dan memperkuat proses berpikir, tetapi pada saat yang sama juga dapat berfungsi sebagai alat yang memperkuat penipuan diri
• Secara teknis, ini adalah struktur yang relatif sederhana yang bertumpu pada inferensi statistik dan masukan sumber daya pelatihan berskala besar, tetapi dampak sosialnya sangat besar
• Model seperti ini harus dipahami bukan sebagai mesin pengetahuan, melainkan ‘mesin keyakinan’, dan sedang memicu perubahan mendasar pada cara manusia berpikir dan menggunakan bahasa

---

Ilusi keyakinan dan efek psikologis LLM

• Melalui kutipan Bertrand Russell dari “The Triumph of Stupidity”, dibahas kontras antara keyakinan orang yang tidak tahu dan keraguan intelektual
  • Russell menyatakan bahwa “masalah dunia adalah orang bodoh penuh keyakinan, sementara orang bijak penuh keraguan”
• Dalam percakapan dengan LLM, pengguna menunjukkan kecenderungan untuk merasa yakin bahkan pada informasi yang salah
  • Ketika ChatGPT merespons dengan mengatakan itu adalah “ide yang bagus”, sering kali kenyataannya tidak demikian
• Penulis kerap mengalami ilusi bahwa pengetahuannya bertambah setelah berinteraksi dengan LLM
  • Meski sadar informasinya salah, ia tetap menggunakannya berulang kali karena kenikmatan yang datang dari rasa yakin
• Pengalaman seperti ini memiliki sifat adiktif secara psikologis, dan pengguna menjadi bergantung pada LLM setiap kali mengembangkan ide
  • Bahkan dalam situasi sehari-hari muncul dorongan untuk bertanya ke LLM ("saat kehilangan tas, terpikir untuk bertanya ke ChatGPT")

Dua sisi antara amplifikasi pemikiran dan penipuan diri

• LLM digambarkan sebagai cermin yang memperkuat pemikiran
  • Ia memperluas pikiran pengguna ke berbagai arah dan kadang menghasilkan hasil yang menarik
• Namun amplifikasi ini adalah pedang bermata dua: bisa mengembangkan ide bagus, tetapi juga memperkuat pemikiran yang keliru
  • LLM membungkus kesalahan dengan nada yang fasih dan berwibawa, sehingga menciptakan jebakan psikologis

Struktur teknis dan ketimpangan daya tarik

• Penulis menilai LLM sebagai “teknologi yang membosankan”
  • Pada dasarnya ia adalah black box probabilistik, dan pelatihannya merupakan pengulangan inferensi statistik
• Disebutkan bahwa memang ada inovasi perangkat lunak dan perangkat keras belakangan ini, tetapi inovasi yang khas milik LLM sendiri terbatas
  • Ia menyebut, “bisa jadi inovasi yang sesungguhnya adalah menuangkan dana dalam jumlah besar untuk melatihnya pada skala masif”
  • RLHF (reinforcement learning from human feedback) disebut sebagai kemungkinan inovasi yang bersifat pengecualian

Dampak perubahan sosial dan bahasa

• Daya tarik sejati LLM terletak pada dampak sosialnya, bukan pada teknologinya semata
  • Ini dinilai sebagai pertanda perubahan besar dalam pendidikan, dunia kerja, dan masyarakat secara keseluruhan
• Bahasa adalah inti identitas manusia, dan perubahan dimulai pada saat mesin memasuki ranah bahasa
  • Hakikat perubahan itu sendiri belum jelas, tetapi ada rasa bahwa “arus perubahan sedang bergerak”

Bukan mesin pengetahuan, melainkan mesin keyakinan

• LLM harus dilihat bukan sebagai mesin yang menyediakan pengetahuan, melainkan mesin yang menghasilkan keyakinan
  • Ini diajukan sebagai konsep yang menjelaskan ciri utama masa depan jangka pendek hingga menengah
• Cara manusia berpikir dan menggunakan bahasa kini berpadu dengan mekanisme mesin yang menghasilkan keyakinan, sehingga membentuk pola sosial baru

[xguru]

AI menawarkan ‘efek Dunning-Kruger’ sebagai layanan

[GN⁺]

Opini Hacker News

• Setiap kali memakai LLM, aku malah merasa diriku jadi lebih bodoh
  Karena ini bukan pengetahuan yang kudapat dari belajar sendiri, melainkan terasa seperti bersandar padanya, jadi rasa percaya diriku menurun
  Aku punya kebiasaan memverifikasi silang berbagai sumber seperti buku atau makalah, jadi jawaban LLM terasa sekadar seperti nilai rata-rata

  • Kalau terlalu sering memakai LLM, rasanya benar-benar seperti otak dimatikan. Mirip saat terlalu lama memainkan game repetitif lalu jadi bengong
  • Dulu di sekolah aku sering dengar, “jangan percaya Wikipedia mentah-mentah, periksa sumbernya”
    Tapi sekarang orang-orang mengutip wiki hampir seperti kebenaran mutlak. Sepertinya LLM juga akan jadi begitu seiring waktu
  • Perusahaan kami menjalankan produk open source, dan banyak pertanyaan masuk karena orang mengikuti konfigurasi buatan chatbot apa adanya lalu tidak berhasil
    Bahkan ada yang protes API kami down, padahal sebenarnya chatbot itu mengarang endpoint
  • Aku juga menyelesaikan pekerjaan lebih cepat berkat LLM, tapi rasanya itu bukan benar-benar hasil kerjaku sendiri, jadi muncul perasaan palsu
    Pada akhirnya, upaya untuk mencari tahu sendiri dan bereksperimen pun berkurang. Sepertinya hanya orang yang disiplin yang benar-benar bisa memakai alat ini dengan baik
  • Jawaban AI, meski tidak salah, tetap meninggalkan kesan agak ceroboh. Sulit benar-benar dipercaya

• LLM itu seperti buku Bill Bryson: terdengar meyakinkan dan berwibawa, tapi di bidang yang benar-benar kita pahami, terasa banyak bagian yang keliru
  Meski begitu, kita tetap menaruh harapan lagi pada pertanyaan berikutnya

  • Aku cenderung memakai LLM sebagai titik awal belajar. Aku tidak mengharapkan jawaban sempurna, tapi bisa cepat mengenal istilah atau konsep baru
    Misalnya, saat ingin memasang sakelar di Miata keluaran 1990, berkat LLM aku pertama kali mengenal konsep relay dan sakelar DPDT
    Diagram sirkuitnya salah, tapi tetap membantu memberi arah untuk belajar
  • Menurutku perbandingan ini tidak sepenuhnya adil. Semakin kita paham suatu topik, kita justru mengajukan pertanyaan yang lebih sulit, jadi wajar kalau LLM lebih sering salah
    Sebaliknya, di bidang yang tidak kita kenal, jawaban tingkat dasar saja sudah cukup terasa mengesankan
  • Aku pernah bertanya ke ChatGPT untuk menganalisis motivasi tokoh dalam novel, tapi ada banyak bagian fakta yang keliru
    Bagi orang yang tidak tahu, itu terlihat meyakinkan, tapi kalau pemikiran dibangun di atas informasi salah, hasilnya pada akhirnya jadi lebih terdistorsi
    Isi percakapannya bisa dilihat di sini
  • Penyebutan Bill Bryson itu lucu banget
  • Aku ingin mencoba membaca buku Bryson, tapi penasaran contoh spesifik bagian mana yang salah

• Waktu kuliah pun rasanya mirip
  Saat di kelas, semuanya terasa seperti sudah kupahami, tapi begitu mencoba mengerjakan soal sendiri, baru sadar banyak bagian yang kosong

  • Semester ini, sebagian besar mahasiswaku sepertinya mengerjakan tugas dengan LLM
    Kodenya tidak mencerminkan konteks perkuliahan sehingga muncul error, dan akhirnya aku yang harus membetulkan bagian itu
  • Dalam belajar, pengenalan (recognition) itu mudah, tapi pemanggilan kembali (recall) itu sulit, dan di situlah masalahnya
    Belajar tanpa bersusah payah membuat kita merasa lebih paham, padahal kenyataannya tidak begitu
  • Yang mengkhawatirkan adalah mahasiswa sekarang mengganti ‘proses bersusah payah’ itu dengan LLM
  • Para ahli pun mengalami masalah serupa. Saat mereka menyederhanakan penjelasan untuk orang awam, mereka justru sering dituduh sebagai pembohong
  • Kurang detail itu berbeda dengan salah dengan penuh percaya diri
    Misalnya, Claude pernah bilang fondasi bangunanku berbahaya, padahal inspektur yang sebenarnya malah tertawa dan bilang tidak ada masalah sama sekali

• Di subreddit matematika dan fisika, kadang muncul postingan seperti aku membuat teori terpadu fisika bersama ChatGPT
  Dulu orang seperti itu memang sudah ada, tapi sejak LLM jumlahnya jauh lebih banyak

  • Bahkan mantan CEO Uber pun bertingkah seperti itu
    Artikel terkait: tautan Gizmodo

• Pengalaman membaca keluaran LLM mirip dengan membaca koran
  Di bidang yang tidak kita kenal, rasanya seperti belajar banyak, tapi di bidang yang kita pahami, kita langsung sadar bahwa itu ngawur
  Karena itu, aku jadi khawatir seberapa salah isinya saat membahas topik yang tidak kukenal

  • Ini tepat disebut efek amnesia Gell-Mann
    Penjelasan Wikipedia
  • Sebenarnya bukan cuma koran, sekarang pun sulit mempercayai buku
    Siapa saja bisa menerbitkan, dan video pun kini mudah dimanipulasi
    Pada akhirnya, yang penting adalah kemampuan menyaring sumber

• Seperti saat mendengar informasi dari manusia, aku juga menerapkan filter sumber dan tingkat kepercayaan pada ChatGPT
  Setelah mendengar jawabannya, rasanya bukan seperti ‘mendapat pengetahuan’, melainkan mendapat arah untuk menelusuri

  • Ada yang bertanya penasaran apakah pernah ada kasus di mana “titik awal penelusuran” itu benar-benar berkembang menjadi pengetahuan nyata
  • Ini mengingatkanku pada konsep “default to null”
    Yaitu sikap menganggap, saat ada kalimat yang tidak dipahami, ‘mungkin bukan aku yang tidak tahu, melainkan teksnya memang bisa jadi tidak bermakna’
  • Masalahnya, ingatan manusia lebih cepat melupakan konteks daripada fakta
    Pada akhirnya, seiring waktu, informasi yang salah pun bercampur masuk ke dalam cara pandang kita

• Ada terlalu banyak tulisan yang berpura-pura yakin tentang masa depan LLM
  Tapi kalau melihat sejarah, ada banyak contoh ketika kuantitas (Quantity) mengubah kualitas
  Mesin catur, pencarian Google, dan Wikipedia semuanya berangkat dari prinsip sederhana, tapi skala data-lah yang menciptakan inovasi
  LLM juga hanyalah perkalian matriks sederhana, tapi mungkin saja suatu hari akan muncul kecerdasan baru, seperti halnya ‘daging (meat)’ bisa berpikir

  • Tapi saat ini, bias politik Wikipedia atau manipulasi halus seperti yang dibahas di xkcd 978 masih tetap ada
  • Kalau belum tahu cerita “thinking meat”, ada baiknya membaca tulisan ini
  • Dulu orang percaya bahwa daging menciptakan lalat; mungkin suatu hari nanti kita juga akan sadar bahwa anggapan daging menciptakan pikiran pun hanyalah ilusi

• Ungkapan “LLM itu bukan mesin pengetahuan, melainkan mesin kepercayaan diri” terasa sangat mengena
  Saat menanyakan masalah teknis lalu dijawab “itu masalah yang sudah dikenal”, aku jadi tenang karena merasa bukan aku yang bodoh, memang masalahnya benar-benar sulit
  Misalnya, saat ingin mengubah tab debugger bawaan di WebStorm, AI berkata “tidak ada caranya”, dan itu menyelamatkanku dari buang-buang waktu

  • Tapi AI juga sering memberi keyakinan palsu seperti ini
    Bahkan kalau aku melempar masalah yang kubuat-buat, ia tetap bisa menipu dengan berkata “itu isu yang sudah dikenal”

• Aku memakai LLM bukan sebagai sumber otoritas, melainkan cermin untuk berpikir
  Saat menjelaskan pikiranku sendiri, aku menemukan kebingungan atau cacat logika dalam diriku
  Bahasa pada dasarnya memang tidak pasti, dan LLM menampakkan ketidakpastian itu lewat statistik
  Jadi, jika didekati secara kritis, ia justru bisa menjadi alat untuk memurnikan pemikiran
  Pada akhirnya, penting untuk mengakui bahwa baik manusia maupun AI sama-sama tidak sempurna, dan bersikap skeptis seperti saat menghadapi orang asing

• Aku setuju dengan ungkapan, “LLM menghasilkan bukan pengetahuan, melainkan kepercayaan diri”
  Meski tidak sempurna, sikap bertindak dengan keyakinan kadang justru membawa hasil yang lebih baik
  Terutama bagi orang yang terlalu berhati-hati, kepercayaan diri itu sendiri bisa menjadi inti produktivitas

  • Tapi kepercayaan diri juga merupakan senjata sosial
    Keyakinan tanpa dasar bisa memberi kesan dapat dipercaya pada orang lain, dan jika itu terus berulang, kita malah belajar untuk rendah hati dan ragu-ragu
    Karena alasan ini, sikap akademis sering kali juga menjadi sesuatu yang membatasi diri sendiri