- AI generatif seperti ChatGPT bekerja dengan cara memprediksi dan meniru teks internet agar terdengar meyakinkan, alih-alih memverifikasi logika atau fakta, sehingga dikritik sebagai otomatisasi Bullshit
- Ringkasan Rodney Brooks bahwa sistem ini “mengarang sesuatu yang terdengar masuk akal” selaras dengan makalah stochastic parrots oleh Emily Bender·Timnit Gebru serta analisis model bahasa besar oleh Murray Shanahan
- Dalam definisi Harry Frankfurt, Bullshit bukanlah ucapan yang menyangkal kebenaran seperti kebohongan, melainkan ucapan yang tidak peduli pada kebenaran, dan karena itu terkait dengan keluaran ChatGPT
- Geoff Hinton melihat bahaya chatbot bukan pada superinteligensi, melainkan pada kemampuan menghasilkan teks yang meyakinkan meski tanpa kecerdasan dalam skala besar, dan mengkhawatirkan otomatisasi persuasi politik
- Yang mudah digantikan AI mungkin bukan pekerjaan bernilai, melainkan Bullshit Jobs seperti laporan tanpa makna, penyampaian pesan, dan penanganan keluhan; karena itu fokus regulasi juga harus diarahkan bukan pada AI itu sendiri, tetapi pada produksi dan penyebaran Bullshit
Mengapa ChatGPT tampak seperti mesin penghasil Bullshit
- ChatGPT didasarkan pada algoritme yang meniru pola teks yang ditemukan di internet, alih-alih memverifikasi logika atau fakta
- Rodney Brooks merangkum ChatGPT sebagai sistem yang “begitu saja mengarang sesuatu yang terdengar masuk akal”
- “Terdengar masuk akal” berkaitan dengan algoritme yang meniru teks internet
- “Mengarang” menunjukkan ketergantungan pada keacakan teks prediktif, bukan pada logika atau fakta
- Makalah stochastic parrots oleh Emily Bender, Timnit Gebru, dan rekan-rekannya, serta pembahasan Murray Shanahan tentang model bahasa besar, juga membahas prinsip prediksi teks yang sama dengan cara yang lebih teknis
Definisi Frankfurt: ucapan yang tidak peduli pada kebenaran
- Dalam On Bullshit karya Harry Frankfurt, Bullshitter tidak menolak otoritas kebenaran seperti pembohong, tetapi sama sekali tidak memberi perhatian pada kebenaran
- Definisi ini selaras dengan analisis Brooks, Bender, Shanahan, dan Hinton tentang cara kerja ChatGPT
- Frankfurt memandang Bullshit sebagai musuh kebenaran yang lebih besar daripada kebohongan
- Kebohongan setidaknya masih mengandaikan adanya hubungan dengan kebenaran
- Bullshit sulit dihindari ketika seseorang harus berbicara meskipun tidak tahu apa yang sedang ia katakan
Risiko politik dari teks yang meyakinkan
- Geoff Hinton melihat risiko utama chatbot bukan pada superinteligensi itu sendiri, melainkan pada kemampuan menciptakan teks yang sangat meyakinkan bahkan tanpa kecerdasan
- Kekhawatiran ini dikaitkan dengan bentuk persuasi politik ala Donald Trump dan Boris Johnson
- Dalam dunia di mana bukti dan logika tidak dihormati dalam perdebatan publik, sistem yang bekerja tanpa bukti atau logika dapat meniru dan menggantikan pemimpin politik yang buruk melalui teks yang persuasif secara supermanusiawi
Bullshit Jobs dan otomatisasi AI
- Bullshit Jobs karya David Graeber terhubung dengan masa depan AI yang, menurut Elon Musk kepada perdana menteri Inggris, akan membuat “tak seorang pun perlu bekerja”
- Graeber menganalisis bahwa lebih dari 30% pekerja Inggris percaya pekerjaan mereka tidak memberi nilai apa pun bagi masyarakat
- Pekerjaan seperti ini mencakup penulisan laporan tanpa makna, menyampaikan pesan antarorang, dan mendengarkan keluhan yang tak bisa diselesaikan
- Semua bagian dari pekerjaan semacam ini dapat dengan mudah dilakukan oleh ChatGPT
- Sebagian pendidikan universitas dapat melatih orang muda untuk tunduk pada prosedur birokratis dan membuat mereka menulis teks panjang yang nyaris tidak pernah dibaca
- Dalam pendidikan yang menghasilkan figur seperti Boris Johnson, kelancaran berbahasa dan argumen yang menghibur bisa dihargai lebih tinggi daripada perhatian cermat terhadap kebenaran
Data pelatihan dan fokus regulasi
- Sistem AI seperti ChatGPT dilatih pada arsip Bullshit raksasa seperti Twitter, Facebook, dan Reddit, bersama materi yang bercampur dengan fakta nyata seperti Wikipedia dan tulisan para penulis profesional
- Tidak ada algoritme di dalam ChatGPT yang memeriksa bagian mana yang benar
- Seperti Twitter yang mendorong Bullshit dari politisi yang tidak peduli pada benar atau salah, jejak yang mereka tinggalkan dapat digunakan untuk melatih mesin penghasil Bullshit otomatis
- Yang perlu diatur bukanlah AI itu sendiri, melainkan Bullshit
- Untuk membedakan pekerjaan yang bernilai dari pekerjaan yang rela kita hapus, kita memerlukan konferensi tentang Bullshit, bukan sekadar KTT AI
Bacaan lebih lanjut
- Designing Alternatives to AI dijadwalkan terbit oleh MIT Press pada 2024, dan tersedia pratinjau gratis online
- Talking About Large Language Models karya Murray Shanahan dapat dibaca di arXiv:2212.03551
- Tulisan terkait Rodney Brooks dimuat di IEEE Spectrum dalam “Just Calm Down About GPT-4 Already”
1 komentar
Pendapat Hacker News
Menurut saya tulisan ini benar dalam banyak hal. LLM tampaknya bekerja dengan prinsip “apakah ini akan diterima seperti jawaban yang benar”, bukan dengan cara “karena ini bekerja seperti ini, maka jawaban yang masuk akal untuk pertanyaan ini adalah ini”
Namun pada titik tertentu kita juga harus mengakui bahwa LLM memang menghasilkan jawaban yang baik. Seperti ketika diminta potongan kode dan jawabannya tepat; jawaban yang lolos uji kewajaran mungkin saja kebetulan merupakan jawaban yang baik, tetapi bagaimanapun itu jawaban yang baik
Intinya, untuk tahu apakah LLM benar, saya sudah harus tahu apa yang sedang saya lakukan. Jika saya yang bukan sejarawan meminta cGPT membuat esai tentang penyebab Perang Dunia I, hasilnya terdengar meyakinkan, tetapi saya tidak tahu apakah itu membahas hal-hal yang akan dianggap penting oleh sejarawan sungguhan. Ia hanya memberikan jawaban biasa-biasa saja yang mungkin dianggap benar oleh orang awam yang pernah membaca sedikit
Kebanyakan orang hanya ahli di satu bidang, jadi tidak ada cara untuk mencegah LLM menipu saya di semua bidang yang tidak saya kuasai. Karena itu, kita harus berhati-hati saat menggunakannya di luar bidang keahlian sendiri
Pada tahap saat ini, saya melihat LLM sebagai alat jalan pintas untuk para ahli. Saya bisa tahu apakah potongan kode di bidang yang saya tangani benar atau salah, tetapi orang yang tidak bekerja di bidang itu bisa tertipu
LLM sangat unggul dalam menghasilkan sesuatu yang tampak seperti bahasa yang koheren. Misalnya, jenis kata ditempatkan pada posisi yang diharapkan dalam kalimat. Masalahnya, pemodelan bahasa dan pemodelan pengetahuan sangat erat kaitannya, sehingga orang keliru menganggap bagian pemodelan pengetahuan yang kebetulan ikut muncul sebagai sesuatu yang lebih mendalam
Namun secara konvensi, nilai algoritma pengurutan 50% bukanlah 50% dari pengurutan yang berfungsi dengan benar, melainkan 0. Pengurutan biasanya merupakan bagian dari sistem yang lebih besar, dan sistem itu membutuhkan pengurutan bekerja 100%
Sudah lama ada bidang dalam teknik “machine learning” yang menganggap akurasi 80% saja sudah sukses. Yang menarik dari LLM adalah, pada beberapa masalah machine learning ia memang menaikkan standar menjadi 90%, tetapi pada pekerjaan lain yang sebelumnya bisa ditangani 100% dengan algoritma, ia justru menurunkan standarnya
Dulu saya pernah membaca abstrak penelitian yang membandingkan performa orang yang bisa memakai software catur dengan yang tidak. Faktor prediksi keberhasilan yang paling kuat bukanlah kemampuan catur murni, melainkan apakah mereka bisa memanfaatkan software secara efektif
Bidang lain yang saya tidak begitu tahu penelitian publiknya, tetapi memiliki banyak bukti anekdotal, adalah algorithmic trading. Perusahaan yang sukses hampir selalu memiliki manusia yang memantau cara kerja algoritma. Ketika algoritma bergerak aneh atau kondisinya tidak sesuai, manusia bisa menyadarinya lalu menyesuaikan parameter, atau mematikannya jika tampak benar-benar kacau. Sejujurnya, sebagian besar pengawasan semacam ini mungkin merupakan akibat dari insiden Knight Capital
Intinya, saya setuju bahwa LLM saat ini adalah alat untuk orang yang punya pengalaman di bidang terkait, tetapi tetap saja ini kemajuan yang cukup besar. Seperti hedge fund kuantitatif papan atas yang secara konsisten mengungguli fund yang dikelola manusia, orang-orang cerdas yang mampu memanfaatkan alat ini dengan baik akan berada di depan. Kuncinya adalah mempelajari area yang dikuasainya, area yang lemah, dan cara memverifikasi output
Saat membutuhkan pengetahuan, mencari sendiri juga lebih cepat daripada bercakap-cakap dengan komputer. Keahlian sejati juga mencakup kemampuan menguasai dan menyederhanakan proses pencarian itu
Sebaliknya, ia kesulitan menghasilkan sesuatu yang belum pernah dilihat sebelumnya, atau yang bukan variasi dekat dari sesuatu yang sudah ada
Kalau itu benar, saya jadi penasaran kenapa kemarin dengan ChatGPT 3.5 saya hanya butuh 10 detik untuk menemukan fakta yang sangat obscure tentang sejarah abad ke-18. Pencarian Google gagal meski sudah lebih dari satu jam
Awalnya ChatGPT memberi jawaban yang salah karena pertanyaan saya tidak tepat, tetapi setelah saya memperjelas beberapa hal, ia memberi jawaban yang tampak benar, dan setelah 1–2 menit riset serta verifikasi tambahan, saya 100% yakin bahwa jawaban itu memang benar
Klaim bahwa “sistem AI seperti ChatGPT dilatih bersama-sama pada gudang omong kosong raksasa seperti Twitter, Facebook, Reddit dan fakta nyata seperti Wikipedia serta teks yang di-scrape dari penulis profesional, tetapi tidak punya algoritma untuk memeriksa bagian mana yang benar. Output-nya secara harfiah adalah omong kosong” juga terasa aneh
Filsuf, matematikawan, ilmuwan, dan novelis juga belajar dari fakta nyata sekaligus gudang omong kosong raksasa. Ada karya mapan orang lain, pendidikan sekolah, dan eksperimen, tetapi juga pengalaman sehari-hari yang tidak bisa disebut sains, obrolan yang mirip percakapan Twitter, propaganda, dan kebohongan. Kalau begitu output mereka juga omong kosong, dan lebih jauh lagi semua yang dibuat umat manusia pun menjadi omong kosong
Mereka mungkin tidak tahu bahwa pertanyaan perlu disesuaikan dan riset tambahan perlu dilakukan. Jika GPT hendak dipakai dalam sistem otomatis, bagaimana sistem itu bisa mengetahui mana yang salah dan mana yang benar?
Tampaknya tidak terlalu kontroversial bahwa ChatGPT dan model serupa paling kuat untuk tugas seperti ini, yaitu berperan sebagai pengganti Google Search
Evaluasi akhirnya adalah apakah lebih murah menggali informasi sendiri, atau lebih murah mempersempit ruang pencarian dengan AI. Dengan asumsi tetap melakukan verifikasi, menurut saya yang kedua
Sebaliknya, dalam Wyrd Sisters karya Terry Pratchett ada kalimat seperti ini. “Hal-hal yang berusaha terlihat seperti sesuatu sering kali tampak lebih seperti sesuatu daripada sesuatu itu sendiri. Itu fakta yang sudah dikenal. Tapi aku tidak suka mendorongnya.”
Jadi LLM jauh lebih baik daripada klaim yang merendahkannya sebagai omong kosong atau burung beo stokastik, tetapi pada saat yang sama tidak sebaik pakar domain
Menurut saya LLM mengungkap bahwa kita punya setidaknya dua cara berpikir
Yang pertama mirip dengan cara kerja LLM, pada dasarnya prediksi token berikutnya. Bayangkan kondisi mental ketika sangat tenggelam dalam percakapan. Itu bukan tindakan yang benar-benar sadar, dan kadang bahkan mengejutkan diri sendiri. Jika Anda anak kecil atau sedang dalam keadaan kekanak-kanakan, pada momen itu Anda bisa saja mengarang apa pun tanpa menyadarinya
Sekarang pikirkan saat Anda harus memecahkan masalah yang benar-benar sulit; itu berbeda. Itu tindakan yang sangat sadar, mengalihkan perhatian ke sana kemari sambil menalar bagaimana semuanya saling terkait dan apa yang perlu diubah agar masalah terselesaikan. Besar kemungkinan Anda juga tidak memakai bahasa saat memodelkan masalah di kepala
LLM melakukan yang pertama, dan bahkan pada tahap awal ini ia melakukannya dengan sangat baik. Yang menakjubkan adalah sejauh apa cara itu saja bisa membawa kita. Jika masuk ke mode percakapan dengan pengetahuan pada tingkat non-manusia, ia benar-benar bisa memecahkan masalah yang cukup sulit
Menurut saya ini juga sesuai dengan pengalaman kita. Dalam bidang yang kita kuasai secara mendalam, kadang kita mendapati diri kita memecahkan masalah hanya dengan menyusun kalimat
Struktur pengetahuan yang kita bangun bersifat simbolik. Simbol merepresentasikan abstraksi, yaitu kelas, dan juga mencakup relasi antar-simbol. Kreativitas manusia terletak pada pembuatan simbol baru atau relasi baru di antara simbol yang ada berdasarkan input persepsi baru, dan ini merupakan proses abduksi. Struktur pengetahuan semacam ini kuat karena memungkinkan kita membangun menara besar di atas fondasi yang kokoh
Pernyataan bahwa pada topik yang dikuasai secara mendalam seseorang bisa memecahkan masalah hanya dengan membuat kalimat berarti bahwa topik itu memiliki kejernihan sehingga aliran pikiran selaras dengan struktur pengetahuan. Dengan kata lain, itu berarti benar-benar memahami. Namun menurut pengalaman saya, sangat jarang orang tetap berada dalam batas kompetensinya sendiri, dan kebanyakan orang tetap berbicara tentang topik yang tidak mereka miliki struktur pengetahuannya. Selain itu, kesadaran diri untuk mengetahui pada hal apa mereka benar-benar punya struktur pengetahuan—dengan kata lain, mengetahui apa yang tidak mereka ketahui—juga jarang
Baik atau buruk, LLM adalah rubber duck yang menjawab
Interpretasi umumnya adalah bahwa kebanyakan orang hanya berpikir dengan cara pertama
Interpretasi seperti ini sekarang sudah membosankan. LLM memang seperti burung beo, tetapi burung beo yang meniru bahasa manusia, dan bahasa manusia tampaknya mengodekan kemampuan penalaran kita di dalam strukturnya. Jadi jika cukup baik meniru bahasa, ia mulai meniru kemampuan penalaran juga
Rasanya semua orang sudah harus move on dari fakta bahwa LLM tidak punya ingatan yang sangat akurat. Masalah ini, meski tidak sepenuhnya, sebagian besar bisa diatasi dengan memasukkan informasi yang ingin ditanyakan ke dalam prompt itu sendiri, seperti Bing. ChatGPT jauh lebih baik dalam merangkum daripada mengingat fakta secara akurat
Dan dalam kebanyakan kasus itu tidak penting. Saat belajar sesuatu atau menyelesaikan masalah dengan ChatGPT, ia adalah titik awal, bukan kesimpulan akhir. Kalau semua orang memahami itu, tidak ada masalah. Saya belum pernah melihat orang memperlakukan output-nya sebagai 100% fakta, dan perusahaan AI juga tidak mengklaim begitu
Orang yang memperlakukan output-nya sebagai 100% fakta benar-benar ada
https://www.nytimes.com/2023/06/08/nyregion/lawyer-chatgpt-s...
Sama seperti kalau memasukkan omong kosong ke kalkulator, yang keluar juga omong kosong. Dalam banyak kasus, fakta harus dimasukkan. Hal seperti RAG mengotomatiskan ini
Karena itu sepertinya ChatGPT berkembang jauh ke arah RAG. Sebab itu lebih cocok dengan cara pengguna berharap alat ini bekerja
Orang yang mengira dunia berjalan berdasarkan fakta sulit memahami LLM. Cara menemukan solusi masalah dengan ChatGPT sama seperti dengan manusia. Ditemukan melalui percakapan
Secara pribadi, ChatGPT telah merevolusi alur kerja saya. Ia bisa menghasilkan kode yang melakukan hal yang saya inginkan, dan juga membantu membingkai masalah menjadi bentuk yang benar-benar bisa diselesaikan
Sejauh ini model yi cukup bagus, dan dalam dua minggu akan ada dua model baru yang lebih baik. Arus seperti ini akan terus berlanjut sampai Altman mengetahui politisi mana yang harus ia suap paling besar
Sebaliknya, ChatGPT dilatih dengan Reddit dan Twitter
Penulis sepertinya cukup banyak melewatkan nuansa. Memang kadang ia mengarang omong kosong, tetapi sering kali tidak, dan bisa menghemat banyak sekali waktu. Tentu kadang ia juga menuntun ke jalan yang salah atau memberi jawaban yang sepenuhnya keliru
Cara menanganinya tergantung pengguna. Bisa mencoba memanfaatkan hasil yang diberikan, atau menyiapkan alat untuk memverifikasi dengan mudah agar produktivitas naik, atau bisa juga menanam kepala di pasir dan berkata semuanya salah jadi tidak perlu dipedulikan
Keduanya pendekatan yang valid
AI bukan “kadang membuat omong kosong”, melainkan selalu membuat omong kosong. Kadang output-nya akurat karena korpus awalnya akurat. Namun bagi AI, sama seperti bagi demagog, itu sama sekali tidak penting; yang penting terdengar meyakinkan
Jika “mudah” memverifikasi apa yang dikatakan AI, maka seharusnya “mudah” juga mengajari AI untuk memverifikasi sebelum berbicara, dan dengan begitu kritik bahwa AI adalah mesin omong kosong akan otomatis terbantahkan. Ancaman sebenarnya adalah AI bisa membuat omong kosong yang sulit diverifikasi, dan melakukannya dengan kecepatan yang bahkan akan membuat pelaku Gish gallop profesional malu
Dalam konteks ekonomi omong kosong, misalnya ada birokrat yang menulis laporan yang tidak dibaca siapa pun, dan alasan birokrat itu menulis laporan adalah untuk menggembungkan jumlah manajer demi menaikkan gaji manajer, ini saja sudah cukup
Itu cerita yang berbeda dari kasus ketika pengguna meninjau output dan memilih hal berguna dengan penilaian ahli, atau ketika penggunaan tool disempurnakan lewat panggilan API alih-alih secara naif memasukkan teks ke GUI dasar
Bukankah bisa dibilang “bahasa adalah generator omong kosong”? Sebagian besar bahasa yang kita temui, entah dibuat manusia atau mesin, adalah “pasukan bergerak metafora, metonimia, dan antropomorfisme” yang sangat mencurigakan seperti kata Nietzsche
Ini juga unsur yang membuat bahasa berhasil. Karena ia independen dari batasan bahwa sesuatu harus “benar”. LLM memanfaatkan sifat itu untuk keuntungannya, tetapi bukan sumber asalnya
Dulu saya berpikir persis seperti tulisan ini, tetapi sekarang saya benar-benar tidak yakin
Kode yang berjalan dan berfungsi, yaitu kode yang benar-benar melakukan hal yang diminta, sama sekali bukan “omong kosong”
Pencarian yang menyertakan rujukan ke sumber khusus dari korpus tertentu, yaitu RAG, juga bukan omong kosong
Jadi AI memang dalam banyak hal merupakan generator omong kosong, tetapi kita juga begitu, dan AI juga bisa dipakai dengan cara yang berguna dan bukan omong kosong
Di dunia tempat optimasi penting, ada celah yang cukup besar antara sesuatu yang berjalan dan sesuatu yang benar. Tidak selalu begitu, tetapi secara ketat ini bukan hanya soal algoritme; hal seperti reusability dan testability juga harus dioptimalkan, dan kode buatan GPT bisa melewatkan aspek-aspek ini
Ada video bagus dari YouTuber Prancis yang membahas topik ini 9 bulan lalu: https://youtu.be/JcFRbecX6bk?feature=shared
Dalam bahasa Prancis ada kata baratineur yang terasa lebih tepat. Artinya seseorang yang mengatakan apa yang ingin didengar orang, terlepas dari konsep benar atau salah
Kita bisa menghemat banyak waktu jika semua orang benar-benar ingat bahwa LLM dirancang untuk menghasilkan keluaran yang terdengar meyakinkan. LLM tidak “tahu” apa pun, tidak “menalar”, tidak “berpikir”, dan tidak punya opini. Ia hanya menerima sesuatu seperti prefiks teks atau seed, lalu menghasilkan keluaran berdasarkan apa yang dipelajarinya dari hal-hal yang benar-benar dibuat manusia
Jika dilihat begitu, semuanya jadi cukup jelas
Haruskah kita memercayai jawabannya? Tentu saja tidak. Ia hanya menghasilkan sesuatu
Bisakah dipakai untuk brainstorming? Tentu bisa. Kita bisa meninjau keluarannya lalu mengambilnya atau menjadikannya inspirasi
Bisakah dipakai untuk menghasilkan kode yang berguna? Tentu bisa. Namun, kode itu harus dibaca serta diperiksa oleh alat dan manusia untuk memastikan ia bekerja sesuai yang dipikirkan
Haruskah menggantikan karyawan? Tentu saja tidak. Generator sufiks teks tidak bisa menangani masalah kompleks atau bertanggung jawab atas keputusan
Bisa saja ada model dunia di dalamnya, bisa juga tidak. Siapa yang tahu. Yang kita tahu hanyalah bahwa “prediksi token berikutnya” adalah tujuan yang sederhana, tetapi agar bisa bekerja sebaik sekarang, dibutuhkan kompleksitas luar biasa di dalam black box itu