Apakah AI saat ini menemui jalan buntu?

Keterbatasan dan masalah AI saat ini

Alasan AI sulit digunakan untuk keperluan serius

• Dari sudut pandang rekayasa perangkat lunak, sistem AI saat ini kurang andal karena sulit mengelola kompleksitas dan skala secara efektif
• Perangkat lunak yang berdampak besar harus memiliki transparansi, kemudahan pengelolaan, dan akuntabilitas, tetapi AI saat ini belum memenuhinya
• Tanggung jawab atas asal-usul data kurang jelas, dan akuntabilitas atas hasil algoritma AI juga ambigu
• Sudah ada upaya seperti 'AI yang dapat dijelaskan' dan mitigasi bias, tetapi masalah mendasar terkait tanggung jawab data dan tingkat kesulitan rekayasa masih belum terpecahkan

Cara kerja AI berbasis jaringan saraf

• AI saat ini didasarkan pada jaringan saraf berskala besar (LLM, Generative AI, dan sebagainya), dengan jutaan neuron yang saling terhubung
• Pelatihan umumnya dilakukan melalui pembelajaran tanpa pengawasan atau pembelajaran swakendali, dengan intervensi manusia yang minimal
• Fungsi sistem ditentukan dalam proses melatihnya agar mempelajari data yang diberikan dan memenuhi target keluaran
• Dibutuhkan sumber daya komputasi yang sangat besar, yang membuat biaya serta konsumsi energi sangat tinggi

Sifat tidak terstruktur dari jaringan saraf dan 'perilaku emergen'

• Sistem AI saat ini menunjukkan perilaku emergen, dan definisi matematis neuron individual sulit menjelaskan cara kerja keseluruhan sistem
• Struktur internal sistem tidak memiliki keterkaitan yang bermakna dengan fungsi, sehingga pengembangan modular atau penggunaan ulang tidak memungkinkan
• Tidak ada model antara atau metode pengembangan bertahap, dan sulit menjelaskan alasan serta logika sistem
• 'Pendekatan dengan mediasi manusia' juga tidak banyak membantu dalam menjelaskan hasil sistem secara nyata

Pendekatan komposisional dalam rekayasa perangkat lunak dan masalah AI

• Pendekatan komposisional (compositionality) adalah cara menjelaskan sistem secara keseluruhan dengan memahami makna tiap komponen dan bagaimana komponen itu digabungkan
• AI saat ini tidak mendukung pendekatan ini, dan menimbulkan masalah berikut:
  • Struktur internal tidak memiliki makna sehingga penggunaan ulang secara fungsional tidak mungkin dilakukan
  • Pengembangan atau verifikasi bertahap tidak memungkinkan
  • Tidak ada model pengetahuan eksplisit, sehingga sistem tidak dapat menjelaskan 'alasannya'

Keterbatasan verifikasi

• Sistem AI saat ini memiliki ruang input dan ruang status yang terlalu besar sehingga pengujian menyeluruh tidak memungkinkan
• Keluaran yang benar dari sistem probabilistik hanya menunjukkan kemungkinan terhadap input tersebut, dan tidak selalu menjamin hasil yang dapat diandalkan
• Verifikasi parsial seperti unit test atau integration test tidak memungkinkan; yang dapat dilakukan hanya verifikasi seluruh sistem
• Bahkan jika seluruh sistem diuji, cakupannya tetap kurang sehingga sulit menjamin keandalan

Masalah kesalahan dan perbaikan

• Kesalahan dapat terjadi karena kurangnya data pelatihan atau ketidaklengkapan data masukan
• Bahkan jika dilakukan pelatihan ulang untuk memperbaiki kesalahan, perbaikan yang terlokalisasi tidak memungkinkan, dan regression test juga sulit dilakukan
• Kemungkinan besar kesalahan baru akan ikut diperkenalkan, dan sulit untuk menemukannya

Kesimpulan dan usulan

• Sistem AI saat ini kurang andal dan kurang aman, sehingga tidak cocok digunakan untuk aplikasi serius
• Teknologi saat ini hanya dapat mengalami perbaikan terbatas melalui peningkatan data pelatihan dan sumber daya komputasi, tanpa peningkatan mendasar pada keandalan
• Usulan:
  • Mengembangkan sistem hibrida yang menggabungkan jaringan saraf dan symbolic AI
  • Menghasilkan model pengetahuan eksplisit dan tingkat kepercayaan, atau menggabungkannya dengan teknik pencarian data serta pembuktian yang sudah ada
  • Menggunakannya di domain terbatas yang memungkinkan kesalahan dikelola secara andal
  • Memanfaatkannya di bidang tertentu seperti prakiraan cuaca, tempat prediksi probabilistik memang sesuai

[jjw9512151]

Intinya, AI saat ini bergantung pada verifikasi induktif semacam "sampai kemarin aman, hari ini juga aman, jadi besok pun akan aman" tanpa ada verifikasi deduktif sama sekali.

Seperti dalam teori angsa hitam, kemungkinan suatu hari muncul anomali fatal tetap ada, dan kalau dilihat dari sudut tertentu, keselamatan saat ini bergantung pada keberuntungan.

Dalam rekayasa perangkat lunak konvensional, masalah seperti ini masih bisa diverifikasi secara deduktif per unit dengan mengidentifikasi dan menganalisis tiap elemen, lalu menyusun skenario dan pengujian, tetapi pada AI hal itu masih sama sekali belum memungkinkan.

[kandk]

Masalah yang sebenarnya sudah diselesaikan dalam sistem self-driving Tesla..

[joon14]

Terasa seperti masalah besarnya adalah karena model tidak bisa diverifikasi di tingkat sistem, sehingga keandalannya tidak akan pernah mencapai 100%. Dalam autonomous driving, ini diselesaikan dengan cara seperti apa?

[kandk]

Tesla sedang menunjukkan contoh penerapan AI yang benar-benar nyata di dunia fisik.

[kandk]

Apa pun itu, 100% itu mustahil. 100% adalah penipuan atau ilusi.
Seperti startup pada umumnya, kami melangkah step by step, secara agile.
Dalam situasi bermasalah juga bisa dilakukan remote control, dan saat ini dijalankan secara supervised.

[ytuniverse]

Yang jadi persoalan tampaknya bukan angka keandalan 100% itu sendiri, melainkan bahwa struktur modelnya tidak explainable, bukan?
Untuk hasil inferensi model, inti masalahnya tampaknya adalah bahwa deep learning saat ini, khususnya yang berbasis model jaringan saraf, banyak yang sulit dijelaskan hanya dengan menampilkan struktur internalnya.

Belakangan ini berbagai riset dan perusahaan seperti Anthropic memang mulai mengajukan cara untuk memecahkan black box, jadi rasanya ini juga akan menjadi masalah yang segera teratasi.

[kandk]

Saya rasa baik 100% maupun kemampuan untuk dijelaskan sepenuhnya adalah ilusi.
Seperti argumen "ruang Tiongkok", yang penting pada akhirnya adalah bahwa kemampuan self-driving Tesla secara statistik lebih aman daripada manusia yang mengemudi. Dan AI akan terus berkembang sehingga dapat bekerja dengan baik dalam "hampir" semua kasus yang mendekati 100%.
Banyak guru besar (Elon Musk, Eric Schmidt, dan lain-lain) mengatakan AI memerlukan pagar pengaman karena mereka tahu AI tidak dapat dijelaskan.

[ytuniverse]

Ini adalah opini di Hacker News di bawah ini.

• "Self-driving Tesla adalah contoh ekstrem, tanpa menanggung tanggung jawab atas kecelakaan."
• "Masih diragukan apakah LLM bisa dipercaya untuk mengelola keuangan atau mengendalikan smart home"

Jika kita tidak mempertanyakan keterjelasan model dan hanya menilai akurasi hasilnya, bagaimana kita bisa mempercayai dan menggunakan produk tersebut?

[ytuniverse]

Anda menyampaikannya terlalu samar sehingga saya kurang memahaminya, tetapi bukankah yang penting adalah bahwa cara kerja internal model juga harus dapat dijelaskan agar verifikasi pada tingkat tertentu bisa dilakukan?
Menurut pendapat kandik, alasan keberadaan Functional Safety menjadi hilang.

[kandk]

Apakah pikiran manusia bisa dijelaskan? Kalau pikiran manusia sendiri tidak bisa dijelaskan, lalu bagaimana kita merekrut karyawan baru?
Mekanika kuantum adalah model statistik 100%, dan itu menjelaskan dunia dengan baik.
Konsep seperti "kepercayaan" juga bisa berubah seiring perkembangan teknologi.

[taeunlee99]

Bagaimanapun juga, dari sudut pandang para developer ini jelas situasi yang melelahkan. Kita memakai AI supaya kerja jadi lebih nyaman, tetapi karena tidak tahu seberapa jauh pengujian harus diperketat demi keandalan, jadinya serba membingungkan.

[taeunlee99]

Dalam membuat produk, kemampuan untuk menjelaskannya tentu lebih baik. Pada akhirnya, manusia bukanlah produk, jadi untuk suatu masalah tanggung jawab bisa dibebankan pada orang itu sendiri, tetapi jika produk memiliki cacat, tanggung jawab dibebankan pada orang yang membuatnya.

Karena itu, semakin penting pula untuk melakukan pengujian dengan lingkungan uji yang semirip mungkin dengan kondisi nyata. Karena kita tidak mengetahui prinsip kerjanya, pada akhirnya tidak ada cara lain selain melatihnya sedemikian rupa agar sebisa mungkin tidak ada situasi yang bersifat pengecualian.

[GN⁺]

Pendapat Hacker News

• Telah mengamati perkembangan jaringan saraf sejak pertengahan 1990-an, dan melihat bahwa setiap tahap jaringan saraf mencapai jalan buntu. Hal ini karena pendekatan matematis menghambat pemahaman intuitif. LLM menarik karena mempermudah pencarian makna.

  • Fungsi dan makna sistem AI tidak saling terhubung. Ini menghambat penggunaan yang bertanggung jawab.
  • Perusahaan besar menggunakan LLM secara terbatas untuk pekerjaan internal, serta memanfaatkannya untuk layanan pelanggan.
  • Kesalahan LLM dibebankan kepada pelanggan, dan penghindaran tanggung jawab merajalela di industri AI.
  • Kendaraan otonom Tesla adalah contoh ekstrem, yang tidak bertanggung jawab atas kecelakaan.
  • Industri AI sedang berupaya menghindari tanggung jawab secara hukum dan politik.

• Saat ini tidak mungkin memprediksi skalabilitas sistem AI. Dibandingkan dengan otak manusia, jumlah koneksi sarafnya sangat sedikit.

  • Sistem AI saat ini memiliki jumlah koneksi saraf yang mirip dengan otak tikus cokelat.
  • Sistem AI saat ini tidak dapat dipercaya.

• AI berbasis LLM memiliki cacat dari sudut pandang pengembangan perangkat lunak, dan tidak cocok untuk aplikasi penting.

  • Diragukan apakah LLM bisa dipercaya untuk menangani pengelolaan keuangan atau kontrol smart home.
  • Ekspektasi terhadap manusia dan sistem otonom berbeda.

• Manusia juga melakukan kesalahan bahkan dalam tugas penting, dan sistem AI pun sama.

  • Ada juga kasus di mana tingkat kesepakatan di antara para ahli manusia rendah.
  • Jika LLM efisien dari sisi biaya, tidak ada alasan untuk tidak menggunakannya.

• Sedang aktif menggunakan AI, dan sangat terbantu dalam proyek pribadi.

  • Seperti halnya Wikipedia, ada kecenderungan psikologis untuk menyangkal kegunaan AI.

• Penskalaan data tidak lagi memberi imbal hasil besar. LLM bukan jalur menuju AGI.

  • LLM berguna untuk hal seperti membuat pemanggilan API, tetapi berisiko jika digunakan pada proyek berskala besar.
  • Mungkin lebih berguna dalam brainstorming yang bebas.

• Ada banyak perdebatan tentang apakah AI merepresentasikan kecerdasan. Otak manusia juga tidak dapat diandalkan, dan kecocokan LLM untuk keamanan siber turut dibahas.