Apakah model machine learning menghafal, atau melakukan generalisasi?

• Artikel ini membahas fenomena pada model machine learning yang disebut "grokking", yaitu ketika model beralih dari menghafal data pelatihan menjadi mampu melakukan generalisasi dengan benar pada input yang belum pernah dilihat setelah pelatihan yang sangat lama.
• Fenomena ini diamati pada model kecil yang dilatih untuk tugas sederhana, dan menarik perhatian komunitas teknis.
• Para peneliti menyelidiki apakah model yang lebih besar dan lebih kompleks juga dapat tiba-tiba melakukan generalisasi setelah pelatihan yang lama.
• Artikel ini memberikan tinjauan mendalam tentang dinamika pelatihan model kecil, melakukan reverse engineering terhadap solusi yang ditemukan model, dan menjelaskan bidang baru yang sedang berkembang, yaitu interpretabilitas mekanistik.
• Para peneliti menggunakan tugas sederhana berupa penjumlahan modular untuk menjelaskan konsep grokking. Pada awalnya model menghafal data pelatihan, tetapi setelah pelatihan lebih lanjut, model mulai melakukan generalisasi dan meningkatkan akurasi pada data uji.
• Para peneliti mengeksplorasi seperti apa solusi yang membuat model berhenti menghafal dan mulai melakukan generalisasi. Untuk itu, mereka menggunakan tugas yang lebih sederhana, yaitu memprediksi apakah tiga posisi pertama dalam deret acak 1 dan 0 mengandung jumlah angka 1 yang ganjil.
• Artikel ini membahas kondisi-kondisi terjadinya grokking, dan mencatat bahwa hal tersebut bergantung pada faktor-faktor seperti ukuran model, weight decay, ukuran data, serta hyperparameter lainnya.
• Para peneliti menyimpulkan bahwa model yang telah dilatih menggunakan algoritme yang sama dengan solusi yang mereka konstruksi. Ini menunjukkan bahwa model mempelajari semacam struktur matematis yang berkaitan dengan generalisasi model.
• Artikel ini mengeksplorasi pertanyaan mengapa bagi model machine learning, menghafal sering kali lebih mudah daripada melakukan generalisasi. Salah satu teorinya adalah karena ada lebih banyak cara untuk menghafal set pelatihan dibandingkan menemukan solusi yang dapat melakukan generalisasi.
• Para penulis membahas peran batasan model dalam mencapai generalisasi. Mereka mencatat bahwa weight decay, teknik regularisasi yang umum, tidak memberikan bias induktif yang tepat untuk tugas penjumlahan modular.
• Artikel ini menyarankan bahwa memahami mekanisme model yang lebih sederhana dapat membantu memahami model yang lebih besar dan lebih kompleks.
• Para penulis juga menyinggung kemungkinan memprediksi sebelum grokking terjadi dengan menggunakan analisis training loss. Hal ini dapat membantu mengembangkan alat dan teknik untuk memeriksa apakah model menggunakan representasi yang lebih kaya alih-alih sekadar menghafal informasi.
• Teks ini membahas berbagai makalah penelitian dan posting blog tentang topik lanjutan dalam machine learning dan kecerdasan buatan, termasuk grokking, konsep-konsep yang terkait dengan memahami sistem kompleks, dan penerapannya dalam pemrosesan informasi saraf.
• Risiko dari large language model, seperti kebocoran data yang tidak disengaja, juga dibahas.
• Fenomena yang disebut "double descent", yang diamati pada performa model machine learning, dieksplorasi dalam beberapa makalah.
• Teks ini juga menyinggung pentingnya privasi data dalam machine learning, dengan fokus pada federated learning, yaitu metode yang memungkinkan pelatihan model tanpa data mentah meninggalkan perangkat pengguna.
• Masalah bias dalam model machine learning dan pentingnya mengukur keadilan serta keberagaman dalam dataset ditekankan.
• Teks ini menekankan pentingnya memahami apa yang telah dipelajari model bahasa dan bagaimana model tersebut membuat prediksi untuk mengidentifikasi potensi kelemahan.
• Teks ini juga menyebut kemungkinan bahwa model machine learning dapat secara tidak sengaja mengungkap data sensitif jika tidak dilatih dengan benar.

[GN⁺]

Opini Hacker News

• Artikel ini membahas apakah model machine learning mengingat data atau melakukan generalisasi.
• Salah satu komentar berpendapat bahwa ingatan manusia menakjubkan karena kemampuannya menghasilkan pola yang memampatkan informasi, dan menganalogikannya dengan sistem kompresi lossy.
• Komentar lain menekankan konsep weight decay dalam machine learning, yang mendorong sparsity dan membantu mempelajari representasi yang “sebenarnya” alih-alih representasi yang overfitted. Ini dianalogikan dengan mekanisme umum dalam perkembangan otak manusia.
• Beberapa komentar mengungkapkan keluhan tentang penyalahgunaan istilah 'grok' di komunitas AI, dengan alasan bahwa istilah itu seharusnya berarti 'memahami sepenuhnya, secara menyeluruh'.
• Disebutkan adanya batas yang tidak jelas antara interpolasi dan ekstrapolasi dalam model machine learning dengan banyak dimensi.
• Seorang pengguna menanyakan bagaimana grafik yang digunakan dalam artikel dibuat, sambil memuji keindahan animasi SVG yang dihasilkan.
• Komentar lain membahas konsep “grokking” sebagai transisi fase yang terjadi ketika pulau-pulau pemahaman saling terhubung dalam model yang overparameterized.
• Seorang pengguna merekomendasikan melihat artikel ini di komputer untuk memahami visualisasinya dengan lebih baik.
• Konsep statistical learning yang dijelaskan dalam istilah k-nearest neighbors dibahas, dan peralihan dari “modal knn” (ingatan) ke “mean knn” (generalisasi) terjadi dengan pelatihan yang tepat.
• Salah satu komentar mempertanyakan apakah jaringan saraf dapat mempelajari representasi di luar rentang yang dilatih, dan menyarankan bahwa generalisasi pun masih merupakan bentuk ingatan.
• Artikel ini dipuji karena contoh-contohnya yang sangat baik, dan muncul pertanyaan apakah penggunaan L1 weight decay untuk mendorong sparsity, bila digabungkan dengan pelatihan yang lebih lama, dapat menghasilkan generalisasi yang lebih baik dalam model deep learning.