Pencarian AI: Pelajaran yang Lebih Pahit

Keterbatasan Leela Chess Zero

• Leela Chess Zero menjadi juara dunia setelah melalui puluhan miliar kali pelatihan lewat self-play
• Namun, ia kalah telak dari Stockfish
• Bahkan dengan melatih jaringan yang lebih besar, ia tetap tidak bisa mengalahkan Stockfish
• Stockfish menggunakan model yang jauh lebih kecil daripada Leela, tetapi menang berkat kemampuan pencarian yang lebih baik

Lebih banyak pemikiran tentang kemenangan Stockfish

• Leela kehilangan gelar juara dunia karena tidak pandai melakukan pencarian
• Menambahkan kemampuan pencarian ke LLM sudah semakin dekat, tetapi belum banyak diperhatikan
• Model foundation seperti GPT-4 tidak memiliki kemampuan pencarian
• Asumsi yang dominan adalah bahwa model yang lebih besar dibutuhkan agar pencarian menjadi mungkin, tetapi ada contoh tandingannya
• Menurut riset DeepMind, perilaku pencarian muncul secara alami dalam algoritme catur
• Karena sudah ada algoritme pencarian yang efisien, tidak perlu menunggu pencarian pendahulu yang tidak efisien muncul secara kebetulan dari model besar
• Model masa kini sudah cukup besar untuk memungkinkan pencarian, bahkan bisa jadi terlalu besar sampai tidak perlu

Pencarian memungkinkan alokasi sumber daya komputasi ke area sasaran

• Misalkan sebuah perusahaan farmasi ingin meneliti obat baru dengan AI
• Di dunia tempat pencarian AI dimungkinkan, ada dua pilihan
  1. Menunggu sampai 2030 agar OpenAI merilis model yang 4 orde magnitudo lebih besar, atau
  2. Menggunakan 4 orde magnitudo lebih banyak sumber daya komputasi inferensi mulai hari ini
• Perusahaan farmasi kemungkinan akan memilih opsi kedua
• Melalui eksplorasi, kemampuan setingkat ASI tahun 2030 bisa dimanfaatkan sekarang juga

Skenario perkembangan AI berbasis pencarian

• Ditemukan bahwa pencarian bekerja pada model yang sudah ada
• Pemerintah atau lembaga riset besar menyadari bahwa pencarian bisa segera diterapkan pada riset AI atau pengumpulan informasi luar negeri
• Karena sumber daya komputasi inferensi terbatas, penerapannya terbatas pada keamanan atau riset AI di pemerintah dan lembaga besar
• Perkembangan AI yang dipimpin pencarian menemukan algoritme eksplorasi dan arsitektur model yang lebih efisien
• Pencarian tidak menuntut lebih banyak data pelatihan, sehingga mengatasi masalah 'hambatan data'
• Ledakan kecerdasan dimulai tahun depan, bukan pada 2030

Kemungkinan penerapan pencarian pada riset AI itu sendiri

• Jika AI berkembang cukup jauh hingga bisa meneliti dirinya sendiri, dinamika perkembangan yang sangat cepat diperkirakan akan terjadi
• Seperti perusahaan farmasi yang dapat meneliti obat baru tanpa menunggu GPT-8, laboratorium AI juga akan bisa meneliti AI tanpa menunggu model yang lebih besar
• Untuk menggantikan peneliti AI manusia, mungkin diperlukan pelonggaran pembatasan yang lebih besar
• Namun, bahkan chatbot sederhana dengan kecerdasan setingkat GPT-8 diperkirakan sudah cukup untuk mempercepat perkembangan AI

[GN⁺]

Opini Hacker News

Ringkasan komentar Hacker News

• Efektivitas pencarian berkaitan erat dengan kualitas fungsi nilai: Saat ini fungsi nilai sangat terspesialisasi untuk domain tertentu, dan masih minim bukti bahwa kita bisa membuat fungsi nilai yang dapat digeneralisasi ke domain baru.
• Riset Yann LeCun: Yann LeCun sedang meneliti peran pencarian untuk membangun AGI, dan berupaya membangun model dunia yang tangguh melalui JEPA.
• Keterbatasan model bahasa: Ada keraguan apakah LLM saat ini dapat mensimulasikan model dunia yang cukup kaya, dan video penting karena manusia dapat mengekstrak model dunia yang berguna dari rangkaian gambar.
• Ambiguitas artikel: Postingan ini dimulai dengan premis yang menarik, tetapi tidak mendefinisikan pencarian dalam konteks LLM, serta tidak menjelaskan klaim bahwa "Pfizer dapat menggunakan kemampuan GPT-8 hari ini".
• Pencarian pada engine catur: Pencarian pada engine catur dimungkinkan karena ada fungsi objektif, dan dipertanyakan apakah LLM memiliki metrik seperti itu.
• Kebutuhan akan pencarian: Pencarian hampir pasti diperlukan, dan penting untuk menemukan cara agar klaster berbiaya rendah bisa mengalahkan klaster berbiaya tinggi.
• Perbedaan catur dan game lain: Catur memiliki lebih sedikit faktor pemangkasan sehingga pendekatan yang luas memungkinkan, tetapi situasi dunia nyata memiliki faktor pemangkasan yang jauh lebih besar.
• Generalisasi pencarian: Pencarian adalah generalisasi dari "generate and test" dan rejection sampling, dan kecepatannya bergantung pada pembuatan kandidat serta waktu pengujian.
• Masalah situs web: Situs web tertentu mengganggu fungsi dasar browser sehingga menimbulkan ketidaknyamanan.
• Pohon permainan Leela Chess Zero: Leela memodelkan permainan catur sebagai pohon permainan dan menggunakan algoritme pencarian.
• Kemungkinan ruang pencarian LLM: Ruang kemungkinan yang bisa dicari oleh LLM tidak jelas.
• Keterbatasan LLM: Karena LLM tidak bisa membuat atau mengevaluasi cheesecake, ekspektasi terhadap AGI perlu diturunkan.
• Masalah teori informasi: Kurangnya generalisasi dan pemodelan dunia internal menjadi masalah, terlihat dari terlalu banyaknya data yang dibutuhkan untuk melatih LLM.