- "Understanding Machine Learning" yang ditulis oleh Shai Shalev-Shwartz dan Shai Ben-David adalah buku yang diterbitkan oleh Cambridge University Press pada tahun 2014
- Membahas latar belakang teoretis dan algoritme machine learning.
- Dengan izin dari Cambridge University Press, PDF naskahnya telah dipublikasikan dan hanya dapat diunduh untuk penggunaan pribadi
- Bukan untuk didistribusikan
1 komentar
Opini Hacker News
Jika ingin memahami machine learning dengan mudah, saya merekomendasikan The StatQuest Illustrated Guide to Machine Learning karya Josh Starmer: https://www.goodreads.com/book/show/75622146-the-statquest-i...
Sejauh ini saya belum pernah melihat pengajar yang menjelaskan konsep rumit sejelas dan seringkas Starmer, dan formatnya hampir seperti buku anak-anak sehingga mudah dibaca dan dipahami
Ia juga baru-baru ini menerbitkan buku tentang neural network, yang sama bagusnya; bahkan jika Anda sudah ahli, buku ini sangat direkomendasikan karena bisa memberi cara yang baik untuk mengajarkan dan menyampaikan konsep-konsep kompleks dalam machine learning
Saya banyak memakainya sebagai materi pendamping saat belajar statistik di universitas
Namun, sulit untuk merekomendasikannya sebagai cara belajar machine learning lebih dari level permukaan, dan rasanya juga agak ketinggalan zaman
Saya belum membacanya, tetapi buku neural network-nya mungkin bisa menutup kekurangan ini
Saya juga penasaran apakah masuk akal untuk menganggap bahwa seseorang dengan latar belakang software engineer web/development bisa masuk ke peran machine learning/AI jika mendalami buku-buku yang direkomendasikan di sini dengan serius
Pekerjaan saya menggunakan machine learning untuk analisis ekonometrika, dan kebanyakan ekonom tidak memahami machine learning secara intuitif
Jika ingin memahami dasar-dasar machine learning, Probability for computer scientists dari Stanford adalah materi yang sangat bagus: https://www.youtube.com/watch?v=2MuDZIAzBMY&list=PLoROMvodv4...
Cara materi ini membahas teori probabilitas dan fondasi teoretis machine learning lebih baik daripada kuliah mana pun yang pernah saya lihat, meski pada dasarnya lebih mirip kuliah probabilitas yang membahas dasar-dasar machine learning
Kuliah Andrew Ng juga legendaris, tetapi membutuhkan tingkat keakraban tertentu dengan matematika aljabar linear
PDF catatan kuliah CS109 juga bisa diunduh: https://chrispiech.github.io/probabilityForComputerScientist...
Jika menginginkan pemahaman teoretis tentang topik machine learning, Learning From Data dari Caltech juga bagus: https://work.caltech.edu/telecourse
Buku untuk kuliah Caltech ini juga tersedia: https://www.amazon.com/Learning-Data-Yaser-S-Abu-Mostafa/dp/...
Untuk memahami cara membangun neural network dari nol, Neural Networks: Zero to Hero bagus: https://www.youtube.com/watch?v=VMj-3S1tku0&list=PLAqhIrjkxb...
https://bloomberg.github.io/foml/#home Secara pribadi, kuliah ini yang paling saya sukai
Jika tujuannya mempelajari AI generatif terbaru, saya merekomendasikan https://udlbook.github.io/udlbook/ sebagai gantinya
Beberapa tahun lalu saya membaca sebagian buku ini, dan seingat saya isinya sangat teoretis serta banyak membahas teori pembelajaran statistik; bagian yang membahas minimalisasi risiko struktural dari Vapnik menurut saya pribadi keliru
Buku ini sangat condong ke teori dan nyaris tidak ada penerapannya; karena ini buku tahun 2014, di bidang AI itu sudah seperti masa lampau yang sangat jauh, jadi besar kemungkinan konten aplikasinya sekarang benar-benar usang
Saya rasa tidak banyak orang yang ingin membaca buku ini hari ini
Setahu saya, teori matematika seperti teori pembelajaran statistik tidak banyak membantu dalam penemuan transformer, dan juga tidak berguna untuk menjelaskan mengapa jaringan saraf tidak overfit meski memiliki dimensi VC yang besar
Judul “dari teori ke machine learning” dengan baik menunjukkan masalah dari pendekatan yang mengutamakan teori ini
Orang-orang yang tertarik pada matematika tetapi tidak tertarik pada rekayasa perangkat lunak masuk ke machine learning dan membuat teori pembelajaran abstrak seperti teori pembelajaran statistik, tetapi itu jauh dari hal-hal yang benar-benar bisa dilakukan
Sebaliknya, para engineer mengabaikan teori semacam itu, turun langsung mengotori tangan dengan implementasi jaringan saraf nyata dan mencoba meningkatkan performa; hasilnya muncul hal-hal seperti convolutional neural network dan kemudian transformer
Seingat saya, dalam pengantar bukunya Vapnik mengeluh, hampir seperti ekstremis, tentang tren yang mengabaikan teori matematika yang indah dan hanya berfokus pada praktik
Namun sekarang sudah jelas bahwa teori-teori itu terlalu lemah untuk menjelaskan kompleksitas pendekatan yang benar-benar bekerja dengan baik, dan menurut saya machine learning terbukti merupakan cabang rekayasa, bukan matematika atau ilmu komputer teoretis
Judul buku ini memuat harapan keliru bahwa orang akan lebih dulu mempelajari teori pembelajaran abstrak, lalu terinspirasi dan segera membuat algoritma baru
Teori pembelajaran statistik nyaris hanya bisa memodelkan supervised learning, apalagi reinforcement learning atau self-supervised learning
Ia bahkan tidak mampu menjelaskan mengapa jaringan saraf tahan terhadap overfitting, sementara teori-teori fantastis seperti teori pembelajaran komputasional/algoritmik, induksi Solomonoff, dan kompleksitas Kolmogorov bahkan lebih jauh dari realitas
Saya paham bahwa aspek tertentu memang mengejutkan, dan jika ukuran serta keragaman dataset memadai, scaling law sering berlaku
Namun berdasarkan pengalaman melatih dari awal dengan dataset nyata, bukan melakukan fine-tuning model pralatih, jika data tidak cukup banyak, jaringan saraf jelas bisa overfit
Intuisi saya, teori-teori yang ada tampaknya belum terbukti benar dalam kondisi tertentu, misalnya pada karakteristik dataset tertentu, tetapi belakangan orang seakan secara implisit mengasumsikan dataset berukuran sangat besar dan menghilangkan catatan seperti itu
Dalam kenyataan masalah niche di perusahaan non-FAANG, atau ketika dataset publik tetapi nonkomersial tidak bisa digunakan, ini masih merupakan masalah nyata
Tidak semua masalah bisa diselesaikan dengan foundation model atau frontier model
Saya akan senang jika ada yang menunjukkan paper terkait; saya masih belajar
Mirip dengan fisika: untuk memahami sesuatu seperti mekanika kuantum, kita membutuhkan teori matematika. Kalau tidak, semuanya bisa terasa tidak masuk akal
Saya penasaran apakah memahami konsep machine learning secara mendalam itu praktis bagi software engineer yang tidak melakukan riset
Saya tidak berencana masuk ke jalur riset, jadi saya sedang mencoba menilai ke mana harus memfokuskan pembelajaran demi karier
Secara umum tampaknya perusahaan punya kebutuhan implementasi AI/ML, tetapi selain sebagian debugging, apakah ada nilai dalam mengembangkan model dari nol?
Saya juga bertanya-tanya apakah untuk bisnis pada umumnya, sedikit menyesuaikan model siap pakai untuk use case tertentu kemungkinan besar sudah cukup
Buku ini adalah pengantar favorit saya untuk teori machine learning, khususnya teori pembelajaran statistik, dan jauh lebih mudah diakses dibanding buku-buku lain
Ini buku tahun 2014; apakah masih benar-benar relevan?
Bukunya sudah berusia 10 tahun; bukankah sudah usang?
Pembaruan atas dilema bias/varians juga tidak besar jika melihat paper asli Geman 1992: https://www.dam.brown.edu/people/documents/bias-variance.pdf
Saat itu mereka menangani dataset kecil atau dataset tak terbatas, dan double descent hanya benar-benar bekerja ketika pola pada test set cukup mirip dengan pola pada training set
Beberapa pandangan lama memang perlu disikapi hati-hati, tetapi konsep dasar tetap sama
Bahkan dalam fine-tuning atau reinforcement learning, masalah dataset kecil/dataset tak terbatas ketika kelas konsep data pembelajaran bisa baru masih tetap berlaku sesuai paper 1992 itu, dan menganggapnya tidak valid secara universal akan menjegal kita
Sebagian besar konsep dasar berasal dari pertengahan abad ke-20
Ketersediaan data masif dan penemuan baru lebih banyak mengubah asumsi serta alat, bukan membatalkan riset sebelumnya
Jika menelusuri paper itu, terlihat bahwa data dan komputasi masif yang kita miliki sekarang dulu sekadar dikesampingkan sebagai sesuatu yang tidak realistis
Sebaiknya cari buku yang cocok untuk diri sendiri, pelajari konsepnya, dan bangun tacit knowledge
Banyak upaya juga sedang mencoba mengintegrasikan metode simbolik dan metode lain
Membangun keluasan sekaligus kedalaman akan membantu menghemat waktu dan menemukan peluang, dan menurut saya pengetahuan dasar sangat menentukan untuk itu
Dasar-dasar machine learning seperti training/validation dan variance/bias tetap sama, dan algoritma klasik juga masih punya tempat
Perkembangan terbaru yang mungkin tidak tercakup barangkali hanya sekitar forest ala XGBoost
Dengan tiga buku ini saja, dari yang paling dasar sampai topik tingkat lanjut, secara harfiah tidak perlu yang lain
Jika hanya penasaran tentang machine learning, kemungkinan informasinya keliru hampir tidak ada
Namun berbeda dengan, misalnya, buku kimia berusia 11 tahun, buku ini tidak terlalu bersinggungan dengan masalah paling menarik yang sedang dihadapi engineer saat ini
Jadi untuk persiapan wawancara atau masuk ke industri, saya rasa ini bukan yang paling berguna
Karena fokus utamanya bukan pada deep learning mutakhir, melainkan pada teori matematika abstrak yang nilainya meragukan
Apakah ada buku rekomendasi lain?
Buku pengantar gratis dan mudah dipahami yang ditulis oleh para peneliti ternama, mencakup banyak materi klasik, serta memiliki banyak bagian “Lab” dengan kode
Ada juga bab tentang deep learning, tetapi tidak membahas perkembangan terbaru, jadi untuk bagian itu diperlukan materi lain
Penjelasannya solid dan juga tidak terasa setua AIMA