- Saat bereksperimen dengan cara memicu halusinasi pada ChatGPT o1 dan Gemini 2.5, o3 dirilis
- Berbeda dengan o1, o3 adalah model multimodal yang kuat dengan fitur seperti pencarian internet, pengenalan gambar, dan eksekusi kode. Namun, ditemukan bahwa ia memberikan jawaban palsu yang kemungkinan tidak akan diberikan manusia.
- Hipotesis inti: Tidak seperti manusia, LLM tidak memiliki organ indra. Karena itu, kemungkinan lemah pada pertanyaan yang memerlukan informasi seperti penglihatan atau orientasi arah.
- Pertanyaan-pertanyaan pemicu halusinasi
- Mendeskripsikan 'The Potato Eaters' karya Van Gogh
- Lebih baik daripada o1 yang bahkan salah dalam komposisi tokohnya, tetapi masih keliru dalam deskripsi rinci
- Menyebutkan not solmisasi melodi Mozart Piano Sonata K545
- Meski menemukan gambar asli melalui fitur pencarian internet, tetap gagal menjawab dengan benar
- Modul visual tampaknya tidak dapat mengenali partitur
- Hasil pencarian rute jalan kaki
- Meski hasil pencarian memuat Naver Map, tetap memberikan jawaban yang salah
- Masalah pergantian keyboard Korea-Inggris (contoh: cotwlvlxl -> ChatGPT)
- Saat ukuran input kecil, ia menjawab dengan baik, tetapi ketika input membesar, ia mulai menghasilkan jawaban palsu
- Terlihat seolah-olah saat memecahkan masalah ia berkata, "ah, sudahlah" lalu kabur
- Algoritme tradisional tidak memiliki 'momen ah, sudahlah'. Mereka hanya akan terus berjalan lama lalu timeout
- Kesimpulan
- Ketiadaan organ indra dalam arti yang sesungguhnya masih menjadi kelemahan valid bagi LLM
- Tidak bisa memecahkan masalah bukanlah cacat. Cacat yang sesungguhnya adalah mengarang jawaban palsu.
- Alih-alih terus memperkuat kemampuan penalaran dan menambah fitur baru, diharapkan pengembang menanamkan metakognisi agar model bisa mengatakan tidak tahu ketika memang tidak tahu
Belum ada komentar.