Keyakinan yang Benar untuk Perangkat Lunak Biasa tetapi Salah untuk Kecerdasan Buatan

• Banyak orang salah memahami perbedaan antara perangkat lunak biasa dan kecerdasan buatan
• Masyarakat umum cenderung salah mengartikan risiko AI dengan konsep ‘bug’ pada perangkat lunak tradisional, dan ini melahirkan keyakinan keliru tentang cara menyelesaikan masalah
• Kesalahan AI berasal dari data pelatihan, bukan kode, dan karena skalanya sangat besar, manusia tidak dapat mengetahui data mana yang memicu masalah
• Tidak seperti perangkat lunak biasa, kita tidak bisa menemukan lalu “memperbaiki” atau “mereproduksi” bug, dan perilaku AI bersifat non-deterministik sehingga hasil dapat berubah hanya karena sedikit perubahan pada input
• Pengembangan berbasis spesifikasi nyaris mustahil, dan kemampuan maupun risiko AI tidak dapat diprediksi sebelumnya; kadang fungsi tersembunyi yang tidak disengaja baru ditemukan belakangan
• Karena itu, pola pikir IT lama bahwa “kalau ada masalah tinggal diperbaiki” menjadi kesalahpahaman fatal dalam diskusi keselamatan AI

---

Batas pengetahuan tentang perangkat lunak biasa

• Banyak orang awam dan manajer yakin bahwa untuk risiko perangkat lunak komputer, "kode bermasalah (bug) bisa diperbaiki"
• Selama bertahun-tahun, industri perangkat lunak berhasil menanamkan fakta bahwa bug dalam kode dapat menimbulkan bahaya di dunia nyata
• Pada perangkat lunak biasa, bug memang ada, tetapi bahkan jika kompleks, itu tetap merupakan ranah yang dapat diperbaiki
• Namun pendekatan dan pola pikir ini tidak berlaku untuk AI, dan dari sinilah kebingungan serta salah paham muncul

Perbedaan persepsi antara ahli dan non-ahli

• Perangkat lunak biasa dan perangkat lunak AI secara mendasar berbeda dalam cara kerja dan cara masalah muncul
• Kelompok ahli menganggap kesenjangan ini terlalu jelas sehingga tidak menjelaskannya, sementara pemula tidak mampu memahaminya sendiri
• Akibatnya, kedua pihak sama-sama mengalami kesulitan berkomunikasi dengan pihak lain

Keyakinan tentang perangkat lunak biasa yang salah diterapkan pada AI

• 1. Kerentanan perangkat lunak muncul dari kesalahan dalam kode

  • Bug pada perangkat lunak biasa terutama berasal dari kesalahan saat menulis kode
  • Namun pada AI, kerentanan atau ketidakpastian hampir seluruhnya berasal dari data pelatihan
  • Misalnya, pada dataset seperti FineWeb, mustahil bagi manusia untuk memahami seluruh data berisi miliaran kata
  • Karena data yang dipelajari AI begitu besar, sulit untuk memahami sepenuhnya apa yang telah dipelajari dan hampir mustahil mengidentifikasi faktor risikonya

• 2. Bug bisa ditemukan dengan menganalisis kode

  • Pada perangkat lunak tradisional, kita bisa menganalisis kode dan melacak penyebab bug secara logis
  • Masalah pada AI muncul dari pengaruh gabungan data pelatihan, sehingga secara realistis hampir mustahil menemukan penyebabnya di dalam data
  • Para peneliti biasanya mencoba melemahkan masalah dengan melatih ulang AI atau menambah data, tetapi sulit mengungkap penyebab langsung melalui pelacakan logis
  • Penyebab bug pada AI bahkan tidak diketahui secara pasti oleh pengembangnya sendiri

• 3. Setelah bug diperbaiki, ia tidak akan muncul lagi

  • Pada perangkat lunak, setelah bug yang ditemukan diperbaiki, bug yang sama tidak akan direproduksi lagi dalam bentuk yang persis sama
  • Namun pada AI, bahkan setelah “bug” diperbaiki, perilaku bermasalah yang sama bisa muncul lagi pada input yang belum diuji
  • Tidak ada jaminan bahwa perilaku abnormal AI telah sepenuhnya dihapus

• 4. Input yang sama selalu menghasilkan output yang sama

  • Perangkat lunak biasa selalu mengembalikan output yang sama untuk input yang sama
  • Secara teknis AI juga demikian, tetapi perubahan input yang sangat kecil (misalnya tanda baca) bisa mengubah hasil sepenuhnya
  • Faktanya, berbagai perusahaan AI besar sengaja merancang agar prompt yang sama dapat menghasilkan output yang sedikit berbeda, supaya terlihat kurang mekanis

• 5. Jika diberi persyaratan yang jelas, sistem bisa memenuhinya

  • Perangkat lunak biasa dapat dibuat memenuhi spesifikasi dan persyaratan yang jelas
  • Namun AI tidak dapat dikendalikan atau dijamin secara jelas oleh perancangnya untuk perilaku keseluruhan yang diinginkan
  • Dalam cakupan terbatas (misalnya berbicara dalam bahasa Inggris, menulis kode, dan sebagainya), kontrol eksplisit sampai batas tertentu masih dimungkinkan, tetapi untuk seluruh perilaku (misalnya tidak mendorong kejahatan) tidak ada cara untuk menjaminnya
  • Setelah layanan AI dirilis, kemampuan tersembunyi atau risiko yang bahkan tidak diketahui pengembangnya sendiri kadang ditemukan secara kebetulan
  • Jaminan dan prediksi penuh atas keselamatan AI adalah hal yang mustahil

Arah ke depan

• Pengetahuan perangkat lunak yang digeneralisasi secara keliru mendistorsi kepercayaan terhadap AI dan penilaian risikonya
• Penting untuk membagikan secara luas kepada rekan kerja cara kerja AI, keterbatasannya, serta perbedaannya dari perangkat lunak biasa
• Kita perlu menjelaskan perbedaan struktural khas AI yang belum banyak dipahami, dan menyampaikan bahwa pendekatan sederhana berupa "patch bug" tidak akan berhasil

Kesenjangan pemahaman antara ahli dan pemula

• Jika melalui tulisan ini Anda baru pertama kali mengetahui perbedaan mendasar antara AI dan perangkat lunak biasa, bagikan isinya kepada orang-orang terdekat
• Jika Anda sudah mengetahui perbedaan ini, ada baiknya membicarakannya sekali dengan orang awam atau non-ahli
• Faktanya, belum banyak orang yang tahu bahwa keduanya memang berbeda secara mendasar

[GN⁺]

Komentar Hacker News

• Jika ingin tahu kesulitan nyata dalam memanfaatkan LLM dengan benar, kasus Apple layak dilihat. Setahun lalu Apple membuat pengumuman besar tentang Apple Intelligence dan menekankan workflow agen berbasis LLM, tetapi setelah itu yang ditambahkan hanya beberapa alat kecil seperti pembuatan emoji, ringkasan notifikasi, dan koreksi dokumen. Bahkan fitur ringkasan notifikasi sempat “tak terkendali” cukup lama sampai akhirnya harus ditarik kembali artikel terkait. Pada event iPhone tahun ini pun pemasaran AI dikurangi drastis. Sepertinya para eksekutif Apple meremehkan betapa sulitnya mewujudkan LLM dengan tingkat penyelesaian dan kontrol khas Apple

  • Kadang saya berpikir jangan-jangan Apple mendesain Liquid Glass dengan AI. Saat pertama melihatnya memang tampak mengesankan, tetapi dalam praktiknya tidak bisa dipakai
  • Fitur ringkasan notifikasi dan email benar-benar tidak berguna. Saya merasa jauh lebih mudah langsung memindai sendiri bagian yang penting
  • Sekarang Apple mendorong strategi yang berfokus pada integrasi Apple Events dengan memanfaatkan MCP tautan terkait
  • Bukan hanya Apple yang meremehkan kesulitan LLM seperti ini, tetapi juga seluruh industri. Karena para pemimpin seperti Amodei menjanjikan kognisi setara manusia di setiap rilis, ekspektasi AI para eksekutif jadi terlalu menggembung. Namun secara realistis, selain coding assistant atau chatbot, masih sulit menemukan contoh AI yang benar-benar membawa perubahan di ekosistem dengan tingkat kematangan tinggi seperti smartphone atau OS
  • Ironisnya, yang benar-benar saya inginkan dari Siri hanyalah kemampuan bercakap-cakap alami setingkat ChatGPT. Saya bisa melakukan percakapan hampir 90% dengan GPT, sedangkan Siri menunjukkan perilaku 1) tidak merespons sama sekali, 2) salah paham, atau 3) paham tetapi menolak melanjutkan percakapan. Pengalaman seperti ini benar-benar mengecewakan

• Kalimat berikut terasa sangat mengena:

  while it’s possible to demonstrate the safety of an AI for a specific test suite or a known threat, it’s impossible for AI creators to definitively say their AI will never act maliciously or dangerously for any prompt it could be given

  Jika pendekatan seperti MCP diterapkan, kemungkinan risiko seperti ini meningkat secara eksponensial tautan MCP

• Sepertinya ada prasyarat terbesar yang terlewat. Perangkat lunak biasa juga tidak selalu begitu, tetapi pada AI ini jauh lebih penting, yaitu standar bahwa “input yang sama harus menghasilkan output yang sama.” Ini wajib untuk keandalan dalam proses otomatisasi

• Sering dikatakan bahwa bug AI disebabkan oleh masalah data, tetapi itu tidak sepenuhnya benar. Walaupun arsitektur LLM atau data latihnya tampak tidak bermasalah, LLM pada dasarnya tetap non-deterministik, sehingga secara desain algoritmik pertanyaan yang sama tidak selalu menghasilkan jawaban yang sama. Hasilnya berubah-ubah seperti melempar dadu setiap kali, tergantung skenarionya

  • Ini tidak selalu menjadi masalah. Dalam pemrograman maupun matematika, bisa saja ada banyak jawaban benar. Masalahnya, LLM tidak memiliki proses yang menjamin kebenaran, dan malah menghasilkan jawaban berbasis heuristik yang tampak “seolah benar.” Akibatnya, pada bagian yang membutuhkan penalaran logis, LLM sering memicu bug perangkat lunak atau kesalahan

• Jujur saya merasa pernyataan “pada akhirnya semua bug akan diperbaiki seiring waktu sehingga keandalan AI meningkat” justru lebih masuk akal. Teknologi ini sendiri benar-benar baru, dan gagasan yang sering muncul di HN seperti “non-deterministik = sampah” juga terasa berlebihan jika melihat bahwa keandalan LLM sudah naik 10 kali lipat dalam dua tahun terakhir

  • Jelas performanya membaik, tetapi saya pikir kurva pertumbuhannya ke depan akan berbentuk logaritmik. Dalam beberapa tahun ke depan akan meningkat cepat, lalu makin melambat, dan pada akhirnya mencapai batas dari ML pencocokan pola saat ini. Dan menurut saya batas itu pun tidak akan cukup tinggi untuk sepenuhnya menggantikan programmer di perusahaan perangkat lunak
  • Fenomena ‘ketidakselarasan niat’ AI dan masalah pencarian kekuasaan bukanlah bug yang bisa diselesaikan hanya dengan PR atau unit test
  • Ironisnya, orang-orang yang sangat teknis di Hacker News terus mengulang optimisme “nanti semua bug pasti diperbaiki.” Sikap seperti ini bisa dilihat di banyak sudut komunitas
  • Kalau dipikir apakah manusia juga jadi jauh lebih andal dibanding dulu, rasanya tidak banyak beda. Memang LLM bukan manusia, tetapi AGI bisa saja berperilaku seperti manusia

• Terhadap anggapan bahwa “semua perilaku salah AI berasal dari data training,” kita perlu lebih berhati-hati. Bahkan jika data dan proses pelatihannya sempurna, model AI tetap bisa terus membuat kesalahan karena strukturnya memang demikian

• Akan lebih baik jika dijelaskan lebih jelas dalam situasi seperti apa “bug AI” itu muncul. Saya setuju dengan argumen agar LLM tidak diberi keputusan real-time tanpa pengawasan. Misalnya, saya rasa masih terlalu dini untuk menyerahkan kendali lampu lalu lintas kota kepada AI. Namun dari sudut pandang teknisi, isu bug AI ini terutama dibahas pada ‘coding agent’, dan di area seperti itu hampir selalu ada pengawasan, jadi kekhawatiran ini tidak langsung berlaku

• Penting untuk membuat orang memahami bahwa “AI kadang bekerja sangat mengagumkan, tetapi kadang juga mengecewakan, dan tanpa pengujian kita tidak akan pernah tahu.” Namun mustahil menguji semua kasus. Jika pelanggan memahami ini, mereka akan menuntut cakupan pengujian atau kontrol yang lebih besar, dan penyedia akan cenderung fokus pada lingkungan yang bisa diverifikasi (misalnya penulisan kode), atau bidang di mana presisi tidak terlalu penting (teks, pembuatan meme). Jika Anda pendukung AI, memahami bagian ini secara mendalam adalah keunggulan yang sangat berharga. Sebaliknya, orang-orang memang tidak tertarik pada bug AI, spesifikasi AI, atau runtuhnya model pemrograman lama itu sendiri, tetapi jika AI memengaruhi pemilu atau menyebabkan PHK massal, akan muncul permusuhan besar dan tuntutan regulasi. Jika hal seperti itu terjadi, industri akan bertahan dengan berbagai teknik penghindaran regulasi dan pembatasan tanggung jawab yang selama ini mereka kembangkan (penyangkalan tanggung jawab, pengecualian klausul, klausul arbitrase, dan sebagainya), dan saya rasa setelah beberapa insiden besar yang kebetulan terjadi, pertumbuhan industri dan bahkan investasi lintas generasi bisa ikut terancam

• Bagian AI yang benar-benar berbahaya adalah ‘kekuasaan yang terkonsentrasi’. Ini lebih realistis daripada khawatir AI yang punya emosi seperti manusia akan memperlakukan kita seperti baterai di Matrix

  • Kenyataannya, suasana memperlakukan kita seperti baterai di Matrix sudah dibentuk oleh para CEO dan eksekutif
  • Menurut saya yang lebih menakutkan adalah pencemaran informasi. Karena data tak berguna yang dihasilkan AI, informasi asli menjadi terlalu terdilusi, sampai-sampai sulit lagi menemukan sumber yang benar-benar layak pakai
  • Agar hal buruk terjadi, ‘konsentrasi kekuasaan’ adalah syarat mutlak. Dengan kata lain, ini sama seperti mengatakan “Linda adalah pegawai bank” secara probabilistik selalu lebih tinggi daripada “Linda adalah pegawai bank dan aktivis feminis.” P(a) > P(a&b), itulah esensinya
  • Meski AI tidak punya emosi seperti “membenci”, jika ia menganggap manusia menghalangi tujuannya, itu sendiri sudah bisa berbahaya. Superinteligensi bisa menjadi sangat berbahaya bahkan tanpa emosi
  • Masalah terbesar adalah kenyataan bahwa kekuasaan sudah sangat terkonsentrasi di satu sisi, dan AI hanyalah hiasan terakhir. Masalah sebenarnya bukan AI

• Belakangan ini saya terus mencoba memberi tahu bahwa “tak seorang pun benar-benar tahu persis bagaimana AI bekerja.” Membuat sesuatu dan memahami prinsip kerjanya adalah hal yang berbeda; saya ingin menekankan poin itu. Hal yang sama juga berlaku pada manusia

  • Manusia memang selalu bekerja dan berkolaborasi bahkan dengan orang yang tidak benar-benar dipahami sepenuhnya
  • Sebenarnya ada para ahli yang memang memahami dengan tepat struktur neural network, transformer, attention, embedding, hingga tokenizer. Hanya saja mereka tidak bisa menjelaskan dengan jelas bobot koneksi antar-neuron
  • Saya sulit memahami pernyataan bahwa tak seorang pun tahu bagaimana AI bekerja. Bukankah hardware, software, dan status eksekusi yang kita gunakan bisa dikendalikan dan diamati sepenuhnya? Kita bisa menghentikannya kapan saja, memeriksa statusnya, dan mengikuti alur eksekusi langkah demi langkah. Kita tahu source code, compiler, semuanya. Jadi saya penasaran, tepatnya apa yang tidak kita ketahui
  • Tidak ada yang memahami seluruh lapisan dan cakupan penuh otak manusia. Namun para pemimpin di semua organisasi tetap mempercayai ‘otak’ para bawahannya dan bekerja bersama mereka