Saat menyebut teorema no free lunch, seharusnya juga disertai catatan bahwa dalam praktiknya ini tidak terlalu menjadi hambatan
Asumsi bahwa data berasal dari dunia nyata saja sudah cukup agar teorema ini tidak mengganggu
Buku ini sama sekali tidak membahas hal itu; akan lebih baik jika dijelaskan bahwa “semua distribusi” di sini kira-kira seperti generalisasi semua kemungkinan deret bit yang dihasilkan dari lemparan koin ke ruang berdimensi tinggi berisi fungsi-fungsi diskret, sementara fungsi kontinu hanyalah subset yang sangat kecil di antaranya
Pada akhirnya, maksudnya lebih dekat ke: jika data berasal dari distribusi acak seragam atas “semua kemungkinan”, maka sesuatu seperti hasil lemparan koin berikutnya tidak bisa dipelajari untuk diprediksi
Benar. Teorema no free lunch semacam ini, atau hasil dengan asumsi yang terlalu umum, pada umumnya memang terlihat terlalu pesimistis
Misalnya, banyak orang secara naif mengira analisis program statis tidak mungkin dilakukan karena masalah penghentian atau teorema Rice
Mirip dengan masalah induksi Hume. Tanpa asumsi, kita tidak bisa menghubungkan observasi masa lalu dengan prediksi masa depan
Fakta bahwa matahari telah terbit seribu kali pada pagi hari tidak otomatis membuat kemungkinan ia terbit besok menjadi lebih tinggi atau lebih rendah; kita harus membuat asumsi bahwa peristiwa-peristiwa cenderung berlanjut secara serupa seiring waktu
Asumsi seperti itu tidak bisa ditarik dari data. Meski di masa lalu hal-hal berlanjut secara serupa, itu tidak mengatakan apa pun tentang masa depan
Meski begitu, sains tetap berjalan dengan baik terlepas dari masalah ini, dan machine learning juga terus bekerja dengan baik karena orang menggunakan pengalaman dan pengetahuan awal saat merancang algoritma
Asumsi-asumsi seperti ini disebut bias induktif, dan membuat pembelajaran condong ke pola tertentu seperti “hal-hal yang dekat cenderung mirip”
Saya kurang paham bagaimana catatan itu berlaku. Saya memahami teorema no free lunch bukan berarti ada masalah-masalah tertentu yang tidak bisa dipelajari, melainkan bahwa tidak ada satu algoritma pun yang bekerja baik untuk semua kelas masalah
Contoh dalam pembuktiannya mungkin artifisial, tetapi dalam praktiknya bukankah kita memilih algoritma yang berbeda sesuai asumsi tambahan?
Teori pembelajaran adalah upaya memformalkan ilmu alam hingga ke pengambilan keputusan. Asumsi tersembunyi ilmu alam adalah bahwa dengan model dunia algoritmik yang cukup canggih, observasi masa depan dapat diprediksi dari observasi masa lalu
Ini sama dengan asumsi yang digunakan Solomonoff saat membuktikan inferensi induktif, sehingga kita harus memulai dari pengodean Turing-complete, bukan apa yang disebut Rissanen sebagai pengodean “universal”
Saat membuat teori turunan, menyimpang dari titik awal itu boleh saja, tetapi jika tidak memulai dari sana, hasilnya adalah kekacauan seperti kebingungan selama 50 tahun terakhir tentang apa sebenarnya makna “prinsip panjang deskripsi minimum”
Namun, jika tujuannya membuat model kausal, itu tidak bisa diterima. Untuk memodelkan sistem dinamis, kita tidak bisa lepas dari kode Turing-complete
Sistem dinamis memang bisa dipandang sebagai mesin keadaan hingga dengan sangat banyak state, tetapi untuk membuat kode yang terkompresi optimal, kita memerlukan semantik Turing-complete yang berjalan di atas graf berarah bersiklus dari sejumlah sangat besar namun tetap hingga flip-flop atau gerbang universal seperti NOR dan NAND
Apakah sekarang sudah diketahui apa penyebab double descent?
Saya tidak tahu apakah ini hasil yang sudah digeneralisasi, tetapi tim Circuits dari Anthropic mengajukan hipotesis yang cukup meyakinkan. Fase penurunan pertama adalah tahap ketika model menghafal titik data, sedangkan fase penurunan kedua adalah tahap ketika model secara geometris bergeser ke arah mempelajari fitur
Di sini, fitur dapat dilihat sebagai ruang vektor yang abstrak dan berdimensi sangat tinggi
Tim ini sedang menyelidiki secara mendalam gagasan superposisi, yaitu satu neuron mengodekan beberapa konsep
Mereka bereksperimen dengan model mainan dan dataset yang secara eksplisit merepresentasikan fitur laten lalu memampatkannya ke himpunan dimensi data yang kecil, sehingga superposisi dipaksakan terjadi, dan menunjukkan bagaimana superposisi itu tampak bergantung pada ukuran data pelatihan
Jelas ini model mainan, tetapi setidaknya untuk model yang mengalami superposisi, idenya meyakinkan https://transformer-circuits.pub/2023/toy-double-descent/ind...
Saya bukan ahli, tetapi makalah ini mengeksplorasi double descent dengan model sederhana
Interpretasinya begini: jika diperluas ke wilayah overparameterized, optimisasi bisa diarahkan ke bobot dengan norma kecil, dan bobot semacam ini pada gilirannya melakukan generalisasi dengan baik
Apakah ini menjelaskan double descent secara umum, dan apakah ini juga berlaku untuk model lain seperti jaringan saraf dalam, adalah pertanyaan terpisah https://arxiv.org/pdf/2303.14151.pdf
Belum tahu. Hipotesis yang secara pribadi saya sukai adalah bahwa stochastic gradient descent benar-benar bersifat stokastik
Karena ia mengoptimalkan terhadap subset yang sangat kecil, bukan seluruh korpus pelatihan, gradiennya tidak tepat
Idenya, pelatihan berlebihan mendorong keluar dari optimum lokal dan, alih-alih mengitari cekungan overfitting lokal, membuatnya bergerak secara rekursif menuju distribusi sebenarnya
Di internet ada sangat banyak PDF matematika bagus dari akademisi, pendidik, dan insinyur yang tersedia gratis. Masalahnya, duplikasi isi juga sangat banyak
Saya penasaran apakah bisa dibuat model AI yang merangkum kumpulan materi yang saling tumpang tindih menjadi satu PDF yang koheren tanpa duplikasi
Mungkin cukup memilih buku yang dipakai di kuliah universitas terkait
Tidak perlu sampai model AI. Probabilistic Machine Learning karya Murphy adalah referensi sekaligus sumber belajar yang sangat bagus
Ini hanya nitpick kecil, tetapi judulnya membingungkan. Kata pertama sebaiknya diganti menjadi Machine-Learning atau Statistical-Learning
Semoga penulis suatu saat memperbaikinya begitu
Cukup sulit dibaca. Misalnya, di halaman pertama Bab 1 membahas minimisasi bentuk kuadrat dan menampilkan sesuatu yang tampak seperti rumus metode kuadrat terkecil linear, tetapi tidak ada penjelasan apakah itu benar
Sepertinya akan membantu jika ada sedikit lebih banyak penjelasan
Saya suka karena ada banyak soal latihan
Tulisan ini tampaknya ditujukan untuk orang yang sudah punya latar belakang matematika sampai tingkat tertentu dan ingin memahami teori pembelajaran
Selain itu, bab tersebut jelas ditulis sebagai tinjauan ulang, jadi diasumsikan bahwa materi itu sudah pernah dipelajari di tempat lain atau akan dipelajari
Memulai dari prinsip pertama bukan berarti mudah dibaca
Seperti komentar saudara di atas, jelas materi ini bukan ditujukan untuk orang yang baru pertama kali belajar
Meski begitu, intuisinya benar. Jika menuliskan fungsi objektif untuk metode kuadrat terkecil umum, hasilnya menjadi bentuk kuadrat
Pemilihan kata “kuadrat” di sini bukan kebetulan; ini adalah generalisasi fungsi kuadrat ke dalam bentuk matriks
Bagian itu membahas versi vektor dari meminimalkan fungsi kuadrat
Jelas tidak terlihat seperti dimulai dari prinsip pertama
Metode kuadrat terkecil adalah ekspresi kuadrat
Kuadrat berarti ada suku pangkat dua
Buku machine learning yang terbit pada 2014, sekarang rasanya sudah klasik dan historis
Saya menantikan hari ketika bisa berkata kepada GPT-5, “Saya punya ide yang ingin dicoba; baca buku ini dan beri tahu apakah ada bagian yang relevan untuk membuatnya bekerja lebih baik”
Saya belum pernah mendengar cerita bahwa LLM menciptakan ide baru. Bukankah itu hanya mungkin kalau idenya sudah pernah dicoba seseorang?
Saya mulai menyadari bahwa menyampaikan konteks tentang $this adalah bagian yang sulit
Sangat sulit menjelaskan konteks saya sebagai pengguna hanya dengan beberapa variabel berdimensi rendah, dan saya sendiri pun tidak cukup memahami situasi saya di alam semesta untuk menjelaskannya kepada AI
Kosakata yang saya bagi dengan AI juga kurang. Internet terasa berhasil bertukar keadaan yang disepakati secara konsisten melalui protokol bersama bernama HTTP
Misalnya, di dalam Uber, keadaan bisa disampaikan dalam dunia request-response yang sempit seperti nomor telepon, kendaraan, GPS, waktu saat ini, dan pembayaran
Namun sebagai pelajar yang ingin mempelajari algoritma, saya tidak tahu bagaimana menyampaikan informasi kompleks seperti usia saya, lingkungan penggunaan internet, tempat tinggal, preferensi penjelasan grafis, riwayat merasa gentar pada buku tebal, tonggak seperti CS50, dan tingkat kemahiran Python
Untuk ide startup pun, sekadar mengatakan “traksinya rendah” tidak cukup; perlu menyampaikan keadaan seperti jaringan VC, developer, dan sales, bukti kemitraan yang berhasil, jumlah peserta, dan pendapatan
Di dunia nyata pun konteks masing-masing orang terlalu berbeda, sehingga kosakata seperti ini hanya ada di kantong-kantong kecil
Mengasumsikan pengetahuan ada seperti variabel global dan abadi juga bermasalah. Di beberapa wilayah, banyak orang bahkan tidak punya listrik atau ponsel dasar, sehingga apakah PDF yang direkomendasikan AI akan membantu pun bergantung pada struktur kekuasaan dan tata kelola lokal
Saya tidak tahu bagaimana ini akan berevolusi ke depan, tetapi memikirkan kemungkinannya saja sudah menarik. Komputer bisa berbicara dengan kita dengan mudah dan seperti bayi pintar sejak hari pertama, tetapi pada akhirnya mungkin kemacetan sebenarnya dalam membuatnya lebih berguna adalah ketidakmampuan memasukkan data yang cukup, tepat, dan murah
Jika membaca buku itu sendiri, idenya akan menjadi lebih baik. Dalam prosesnya mungkin juga ada hal baru yang dipelajari
1 komentar
Opini Hacker News
Saat menyebut teorema no free lunch, seharusnya juga disertai catatan bahwa dalam praktiknya ini tidak terlalu menjadi hambatan
Asumsi bahwa data berasal dari dunia nyata saja sudah cukup agar teorema ini tidak mengganggu
Buku ini sama sekali tidak membahas hal itu; akan lebih baik jika dijelaskan bahwa “semua distribusi” di sini kira-kira seperti generalisasi semua kemungkinan deret bit yang dihasilkan dari lemparan koin ke ruang berdimensi tinggi berisi fungsi-fungsi diskret, sementara fungsi kontinu hanyalah subset yang sangat kecil di antaranya
Pada akhirnya, maksudnya lebih dekat ke: jika data berasal dari distribusi acak seragam atas “semua kemungkinan”, maka sesuatu seperti hasil lemparan koin berikutnya tidak bisa dipelajari untuk diprediksi
Misalnya, banyak orang secara naif mengira analisis program statis tidak mungkin dilakukan karena masalah penghentian atau teorema Rice
Fakta bahwa matahari telah terbit seribu kali pada pagi hari tidak otomatis membuat kemungkinan ia terbit besok menjadi lebih tinggi atau lebih rendah; kita harus membuat asumsi bahwa peristiwa-peristiwa cenderung berlanjut secara serupa seiring waktu
Asumsi seperti itu tidak bisa ditarik dari data. Meski di masa lalu hal-hal berlanjut secara serupa, itu tidak mengatakan apa pun tentang masa depan
Meski begitu, sains tetap berjalan dengan baik terlepas dari masalah ini, dan machine learning juga terus bekerja dengan baik karena orang menggunakan pengalaman dan pengetahuan awal saat merancang algoritma
Asumsi-asumsi seperti ini disebut bias induktif, dan membuat pembelajaran condong ke pola tertentu seperti “hal-hal yang dekat cenderung mirip”
Contoh dalam pembuktiannya mungkin artifisial, tetapi dalam praktiknya bukankah kita memilih algoritma yang berbeda sesuai asumsi tambahan?
Teori pembelajaran adalah upaya memformalkan ilmu alam hingga ke pengambilan keputusan. Asumsi tersembunyi ilmu alam adalah bahwa dengan model dunia algoritmik yang cukup canggih, observasi masa depan dapat diprediksi dari observasi masa lalu
Ini sama dengan asumsi yang digunakan Solomonoff saat membuktikan inferensi induktif, sehingga kita harus memulai dari pengodean Turing-complete, bukan apa yang disebut Rissanen sebagai pengodean “universal”
Saat membuat teori turunan, menyimpang dari titik awal itu boleh saja, tetapi jika tidak memulai dari sana, hasilnya adalah kekacauan seperti kebingungan selama 50 tahun terakhir tentang apa sebenarnya makna “prinsip panjang deskripsi minimum”
Namun, jika tujuannya membuat model kausal, itu tidak bisa diterima. Untuk memodelkan sistem dinamis, kita tidak bisa lepas dari kode Turing-complete
Sistem dinamis memang bisa dipandang sebagai mesin keadaan hingga dengan sangat banyak state, tetapi untuk membuat kode yang terkompresi optimal, kita memerlukan semantik Turing-complete yang berjalan di atas graf berarah bersiklus dari sejumlah sangat besar namun tetap hingga flip-flop atau gerbang universal seperti NOR dan NAND
Apakah sekarang sudah diketahui apa penyebab double descent?
Di sini, fitur dapat dilihat sebagai ruang vektor yang abstrak dan berdimensi sangat tinggi
Tim ini sedang menyelidiki secara mendalam gagasan superposisi, yaitu satu neuron mengodekan beberapa konsep
Mereka bereksperimen dengan model mainan dan dataset yang secara eksplisit merepresentasikan fitur laten lalu memampatkannya ke himpunan dimensi data yang kecil, sehingga superposisi dipaksakan terjadi, dan menunjukkan bagaimana superposisi itu tampak bergantung pada ukuran data pelatihan
Jelas ini model mainan, tetapi setidaknya untuk model yang mengalami superposisi, idenya meyakinkan
https://transformer-circuits.pub/2023/toy-double-descent/ind...
Penjelasan lebih rinci ada di sini: https://calculatedcontent.com/2019/12/03/towards-a-new-theor...
Interpretasinya begini: jika diperluas ke wilayah overparameterized, optimisasi bisa diarahkan ke bobot dengan norma kecil, dan bobot semacam ini pada gilirannya melakukan generalisasi dengan baik
Apakah ini menjelaskan double descent secara umum, dan apakah ini juga berlaku untuk model lain seperti jaringan saraf dalam, adalah pertanyaan terpisah
https://arxiv.org/pdf/2303.14151.pdf
Karena ia mengoptimalkan terhadap subset yang sangat kecil, bukan seluruh korpus pelatihan, gradiennya tidak tepat
Idenya, pelatihan berlebihan mendorong keluar dari optimum lokal dan, alih-alih mengitari cekungan overfitting lokal, membuatnya bergerak secara rekursif menuju distribusi sebenarnya
Di internet ada sangat banyak PDF matematika bagus dari akademisi, pendidik, dan insinyur yang tersedia gratis. Masalahnya, duplikasi isi juga sangat banyak
Saya penasaran apakah bisa dibuat model AI yang merangkum kumpulan materi yang saling tumpang tindih menjadi satu PDF yang koheren tanpa duplikasi
Ini hanya nitpick kecil, tetapi judulnya membingungkan. Kata pertama sebaiknya diganti menjadi Machine-Learning atau Statistical-Learning
Semoga penulis suatu saat memperbaikinya begitu
Cukup sulit dibaca. Misalnya, di halaman pertama Bab 1 membahas minimisasi bentuk kuadrat dan menampilkan sesuatu yang tampak seperti rumus metode kuadrat terkecil linear, tetapi tidak ada penjelasan apakah itu benar
Sepertinya akan membantu jika ada sedikit lebih banyak penjelasan
Saya suka karena ada banyak soal latihan
Selain itu, bab tersebut jelas ditulis sebagai tinjauan ulang, jadi diasumsikan bahwa materi itu sudah pernah dipelajari di tempat lain atau akan dipelajari
Meski begitu, intuisinya benar. Jika menuliskan fungsi objektif untuk metode kuadrat terkecil umum, hasilnya menjadi bentuk kuadrat
Pemilihan kata “kuadrat” di sini bukan kebetulan; ini adalah generalisasi fungsi kuadrat ke dalam bentuk matriks
Bagian itu membahas versi vektor dari meminimalkan fungsi kuadrat
Kuadrat berarti ada suku pangkat dua
Menarik. Ada buku bagus tentang topik ini?
Menarik. Harus saya lihat sekilas saat punya lebih banyak waktu
Sekilas, sepertinya buku ini [1] membahas cukup banyak materi yang sama. Saya penasaran apa perbedaan keduanya
[1]: https://www.cambridge.org/core/books/understanding-machine-l...
Saya menantikan hari ketika bisa berkata kepada GPT-5, “Saya punya ide yang ingin dicoba; baca buku ini dan beri tahu apakah ada bagian yang relevan untuk membuatnya bekerja lebih baik”
$thisadalah bagian yang sulitSangat sulit menjelaskan konteks saya sebagai pengguna hanya dengan beberapa variabel berdimensi rendah, dan saya sendiri pun tidak cukup memahami situasi saya di alam semesta untuk menjelaskannya kepada AI
Kosakata yang saya bagi dengan AI juga kurang. Internet terasa berhasil bertukar keadaan yang disepakati secara konsisten melalui protokol bersama bernama HTTP
Misalnya, di dalam Uber, keadaan bisa disampaikan dalam dunia request-response yang sempit seperti nomor telepon, kendaraan, GPS, waktu saat ini, dan pembayaran
Namun sebagai pelajar yang ingin mempelajari algoritma, saya tidak tahu bagaimana menyampaikan informasi kompleks seperti usia saya, lingkungan penggunaan internet, tempat tinggal, preferensi penjelasan grafis, riwayat merasa gentar pada buku tebal, tonggak seperti CS50, dan tingkat kemahiran Python
Untuk ide startup pun, sekadar mengatakan “traksinya rendah” tidak cukup; perlu menyampaikan keadaan seperti jaringan VC, developer, dan sales, bukti kemitraan yang berhasil, jumlah peserta, dan pendapatan
Di dunia nyata pun konteks masing-masing orang terlalu berbeda, sehingga kosakata seperti ini hanya ada di kantong-kantong kecil
Mengasumsikan pengetahuan ada seperti variabel global dan abadi juga bermasalah. Di beberapa wilayah, banyak orang bahkan tidak punya listrik atau ponsel dasar, sehingga apakah PDF yang direkomendasikan AI akan membantu pun bergantung pada struktur kekuasaan dan tata kelola lokal
Saya tidak tahu bagaimana ini akan berevolusi ke depan, tetapi memikirkan kemungkinannya saja sudah menarik. Komputer bisa berbicara dengan kita dengan mudah dan seperti bayi pintar sejak hari pertama, tetapi pada akhirnya mungkin kemacetan sebenarnya dalam membuatnya lebih berguna adalah ketidakmampuan memasukkan data yang cukup, tepat, dan murah