Peran Pengetahuan Prosedural dalam Pra-pelatihan untuk Mendorong Penalaran Model Bahasa Besar

 (arxiv.org)
1 poin oleh GN⁺ 2024-12-03 | 1 komentar | Bagikan ke WhatsApp

  • Dampak Pengetahuan Prosedural terhadap Penalaran Model Bahasa Besar

  • Kemampuan dan keterbatasan model bahasa besar (LLM) telah diteliti secara rinci dalam beberapa tahun terakhir. LLM menunjukkan kemampuan pemecahan masalah, tetapi dibandingkan manusia masih ada kesenjangan dalam penalaran, sehingga menimbulkan pertanyaan tentang ketangguhan strategi generalisasinya.

  • Karena besarnya jumlah data yang digunakan dalam perancangan LLM, pemisahan set latih-uji sebagai metode tradisional untuk mengukur generalisasi menjadi sulit dilakukan. Untuk mengatasi hal ini, data pra-pelatihan diteliti guna melihat strategi generalisasi yang digunakan LLM saat menjalankan tugas penalaran.

  • Dengan menggunakan model dalam dua ukuran (7B dan 35B) serta 2,5 miliar token pra-pelatihan, dokumen yang memengaruhi keluaran model diidentifikasi untuk tiga tugas penalaran matematis sederhana, lalu dibandingkan dengan data yang memengaruhi model dalam menjawab pertanyaan faktual.

  • Untuk setiap pertanyaan faktual, model terutama menggunakan set data yang berbeda-beda. Namun, pada pertanyaan penalaran yang berbeda dalam tugas yang sama, dokumen sering kali memberikan pengaruh yang serupa, yang menunjukkan adanya pengetahuan prosedural.

  • Jawaban atas pertanyaan faktual sering muncul dalam data yang paling berpengaruh, tetapi pada pertanyaan penalaran, baik jawaban maupun jawaban atas langkah-langkah penalaran antara tidak menunjukkan pengaruh yang tinggi.

  • Hasil analisis kualitatif terhadap dokumen teratas untuk pertanyaan penalaran mengonfirmasi bahwa dokumen yang berpengaruh sering kali memuat pengetahuan prosedural yang menunjukkan cara penyelesaian melalui rumus atau kode.

  • Temuan ini menunjukkan bahwa pendekatan penalaran yang digunakan model bukan sekadar pencarian sederhana, melainkan strategi yang dapat digeneralisasi dengan menyintesis pengetahuan prosedural dari dokumen yang melakukan penalaran dalam bentuk serupa.

Bacaan terkait

1 komentar

 
GN⁺ 2024-12-03
Komentar Hacker News

  • Menunjukkan bahwa LLM tidak dapat menemukan contoh untuk semua masalah di data pelatihan, serta menyebutkan bahwa contoh pencarian faktual yang diperlukan untuk eksplorasi bergaya pengambilan informasi tidak cukup banyak

    • Tidak bertentangan dengan makalah Apple tentang LLM, dan meyakini bahwa LLM hanya mampu melakukan sedikit variasi dari contoh yang sudah ada
    • Menyatakan ketidakpuasan terhadap penggunaan istilah "penalaran", dan berargumen bahwa ini adalah istilah yang dibuat perusahaan LLM untuk menggambarkan teknologi secara emosional
    • Menekankan bahwa kemampuan memberi instruksi kepada mesin dengan bahasa alami merupakan kemajuan besar

  • Menunjukkan bahwa manusia harus menyelesaikan masalah langkah demi langkah agar jaringan saraf dapat menirunya

    • Menjelaskan manfaat tak terduga dari pelatihan kode

  • Menyebutkan bahwa LLM memang menunjukkan kemampuan memecahkan masalah, tetapi ada kesenjangan penalaran jika dibandingkan dengan manusia

    • Menunjukkan bahwa banyak pengguna memandang LLM semata-mata sebagai prediktor token berikutnya

  • Menjelaskan bahwa ketika model bahasa menjawab pertanyaan penalaran, sering kali mereka mengambil informasi dari kumpulan dokumen yang terbatas

    • Sebaliknya, mengusulkan bahwa menarik informasi dari berbagai dokumen yang berkaitan secara abstrak dengan pertanyaan seharusnya menjadi strategi penalaran yang lebih tergeneralisasi

  • Berargumen bahwa pra-pelatihan Google memainkan peran penting dalam desain chip

    • Menjelaskan bahwa wajar jika hasil percobaan tanpa pra-pelatihan belum mencapai tingkat teknologi saat ini

  • Bertanya mengapa gambar yang dihasilkan terasa seperti mimpi buruk, dan berargumen bahwa dibutuhkan lebih banyak data pelatihan penalaran

    • Menyebutkan bahwa pembuktian matematika bisa menjadi sasaran termudah di antara data non-sintetis

  • Menjelaskan melalui perbandingan AlphaGo dan AlphaZero bahwa pengetahuan prosedural manusia membantu pelatihan ML, tetapi mungkin memiliki keterbatasan

  • Mengusulkan bahwa melatih dengan catatan siswa, ujian, ulasan buku, dan sejenisnya dapat membuat LLM menjadi lebih baik, serta menyebutkan bahwa ini akan sangat menarik