30 Papers - Ringkasan daftar makalah inti AI yang direkomendasikan Ilya Sutskever

baeba · 2026-07-08T09:33:20+09:00

Berdasarkan daftar makalah inti AI yang disebut-sebut direkomendasikan Ilya Sutskever kepada John Carmack, ini adalah situs yang mengumpulkan makalah inti machine learning agar mudah diikuti oleh pemula Daftarnya mengikuti arus utama perkembangan AI modern, termasuk deep learning, computer vision, pemodelan sekuensial, attention, transformer, graph neural network, scaling law, teori informasi, dan teori kompleksitas Tidak hanya mencantumkan makalah, tetapi juga menggabungkan catatan kuliah, tulisan penjelasan, dan uraian berbasis kode untuk menurunkan hambatan masuk ke makalah asli Pembaca yang ingin memahami model bahasa skala besar modern dan sistem deep learning dapat meninjau titik awal arsitektur, teknik pelatihan, dan teori kompleksitas di satu tempat Awalnya dikenal sebagai daftar 30 makalah, tetapi saat ini situs web tersebut hanya merangkum 27 entri Pendahuluan Daftar yang merangkum materi kunci perkembangan AI Situs web ini adalah proyek yang mengumpulkan makalah dan materi pembelajaran yang membentuk titik balik utama dalam riset AI. Daftar ini disusun berdasarkan rumor bahwa Ilya Sutskever merekomendasikannya kepada John Carmack. Penulis situs web menyatakan bahwa dari total 30 makalah, saat ini baru 27 yang berhasil dikumpulkan. Setiap entri memuat judul makalah, ringkasan isi utama, dan informasi kontributor utama. Tujuan materi ini adalah merapikan ide-ide yang menjadi fondasi teknologi AI modern agar dapat dipahami dalam sekali lihat. Isi Perkembangan computer vision dan convolutional neural network CS231n: Convolutional Neural Networks for Visual Recognition Ini adalah materi pembelajaran yang menjelaskan convolutional neural network dari dasar. Materi ini membahasnya secara bertahap, dari linear classifier hingga model pengenalan gambar mendalam. Berfungsi sebagai materi pengantar untuk mempelajari CNN di bidang computer vision. ImageNet Classification with Deep Convolutional Neural Networks Ini adalah makalah AlexNet, yang memenangkan kompetisi ImageNet dengan selisih performa yang besar. Makalah ini membuktikan efektivitas deep convolutional neural network pada klasifikasi gambar skala besar. Dianggap sebagai makalah representatif yang memicu era deep learning modern. Deep Residual Learning for Image Recognition Ini adalah makalah ResNet yang memperkenalkan residual connection. Jaringan ini dirancang agar mempelajari perubahan terhadap input, bukan seluruh transformasi. Hal ini memungkinkan pelatihan neural network yang sangat dalam hingga ratusan lapisan. Identity Mappings in Deep Residual Networks Sebagai penelitian lanjutan dari ResNet, makalah ini menganalisis alasan shortcut identitas efektif. Makalah ini mengusulkan pre-activation residual block untuk memperbaiki struktur residual network. Berkontribusi pada stabilitas optimisasi dan peningkatan performa pada jaringan yang dalam. Multi-Scale Context Aggregation by Dilated Convolutions Makalah ini mengajukan cara memperluas receptive field tanpa kehilangan resolusi melalui dilated convolution. Ini memungkinkan pemanfaatan informasi konteks yang lebih luas pada tugas dense prediction seperti segmentasi gambar. Berkontribusi untuk mempertahankan informasi spasial yang rinci sambil merefleksikan fitur dari cakupan yang luas. Model sekuensial dan penyelesaian masalah ketergantungan jangka panjang The Unreasonable Effectiveness of Recurrent Neural Networks Ini adalah tulisan blog praktis yang menguji pembuatan teks dengan RNN tingkat karakter. Tulisan ini menunjukkan lewat contoh bahwa RNN dapat menangkap struktur dan pola dalam data dalam kadar yang cukup besar. Ini menjelaskan secara intuitif potensi pemodelan data sekuensial. Understanding LSTM Networks Ini adalah materi yang menjelaskan secara visual struktur gate dan cara aliran informasi pada LSTM. Fokusnya adalah membantu memahami prinsip mempertahankan informasi dalam sekuens yang panjang. Ini merupakan materi pengantar yang banyak digunakan bagi orang yang baru mempelajari LSTM. Recurrent Neural Network Regularization Makalah ini mengajukan cara yang tepat untuk menerapkan dropout pada LSTM. Dijelaskan bahwa dropout seharusnya diterapkan pada non-recurrent connection, bukan recurrent connection. Hal ini berkontribusi dalam mengurangi overfitting pada recurrent neural network berskala besar. Order Matters: Sequence to Sequence for Sets Makalah ini menganalisis pengaruh urutan input dan output terhadap performa pada model sequence-to-sequence. Ini membahas masalah yang muncul saat data yang pada dasarnya berupa himpunan diproses dengan model sekuensial. Makalah ini memberikan diskusi tentang cara memodelkan struktur data yang tidak memiliki urutan. Peralihan struktural menuju attention dan transformer Neural Machine Translation by Jointly Learning to Align and Translate Ini adalah makalah kunci yang memperkenalkan mekanisme attention dalam machine translation. Model ini tidak bergantung pada satu vektor ringkasan tetap, melainkan langsung merujuk kata sumber yang relevan. Makalah ini kemudian menjadi fondasi penting bagi perubahan arsitektur model pemrosesan bahasa alami. Pointer Networks Ini adalah model sequence yang dirancang agar output menunjuk ke posisi tertentu dalam input. Cocok untuk masalah yang jawabannya dinyatakan sebagai pemilihan atau pengurutan elemen input. Makalah ini mengajukan arsitektur model yang dapat digunakan untuk optimisasi kombinatorial dan prediksi terstruktur. Attention Is All You Need Ini adalah makalah yang mengusulkan arsitektur transformer. Makalah ini menghilangkan recurrence dan memproses data sekuensial hanya dengan self-attention. Ini menjadi fondasi struktural utama bagi model bahasa skala besar modern. The Annotated Transformer Ini adalah materi yang menjelaskan makalah transformer baris demi baris bersama kode yang dapat dijalankan. Materi ini membantu memahami struktur makalah asli dari sudut pandang implementasi nyata. Berfungsi sebagai materi belajar yang menjembatani kesenjangan antara makalah riset dan implementasi praktis. Memori, penalaran relasional, dan pembelajaran struktur graf Neural Turing Machines Ini adalah model yang menggabungkan neural network dengan memori eksternal yang dapat dibaca dan ditulis. Memori dikendalikan melalui attention yang dapat didiferensiasikan. Makalah ini menunjukkan kemungkinan mempelajari algoritme sederhana dari data contoh. A Simple Neural Network Module for Relational Reasoning Ini adalah makalah yang mengusulkan relation network. Makalah ini menambahkan modul ke neural network yang dapat menalar hubungan antar pasangan objek. Struktur ini berguna untuk penalaran visual dan penyelesaian masalah berbasis relasi. Relational Recurrent Neural Networks Makalah ini menggabungkan memori berbasis self-attention ke dalam recurrent network. Dirancang agar memori yang tersimpan dapat saling berinteraksi. Tujuannya adalah meningkatkan performa pada tugas yang memerlukan penalaran relasional seiring waktu. Neural Message Passing for Quantum Chemistry Makalah ini menjelaskan graph neural network secara terpadu sebagai message passing framework. Pembelajaran berbasis graf diterapkan untuk memprediksi sifat struktur molekul. Ini dapat dipandang sebagai makalah yang merangkum fondasi struktural riset graph neural network. Pelatihan model skala besar dan scaling law Scaling Laws for Neural Language Models Makalah ini mengukur bahwa loss model bahasa menurun dalam bentuk power law yang konsisten seiring ukuran model, data, dan jumlah komputasi. Ini memberikan dasar empiris untuk membangun model skala besar. Setelahnya, makalah ini menjadi acuan penting dalam strategi pengembangan model bahasa besar. GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism Makalah ini mengusulkan metode pipeline parallelism untuk melatih neural network raksasa dengan membaginya ke beberapa perangkat. Pekerjaan antarperangkat didistribusikan secara efisien sehingga pelatihan model skala besar menjadi praktis. Ini memberi solusi dari sisi infrastruktur pelatihan yang dibutuhkan untuk memperbesar ukuran model. Deep Speech 2: End-to-End Speech Recognition in English and Mandarin Ini adalah sistem yang menangani pengenalan suara bahasa Inggris dan Mandarin secara end-to-end. Sistem ini mempelajari sekuens suara menggunakan connectionist temporal classification. Ini menunjukkan potensi model pengenalan suara yang dapat diskalakan di lingkungan bahasa yang berbeda. Memahami pembelajaran dari sudut pandang teori informasi, kompresi, dan kompleksitas Keeping Neural Networks Simple by Minimizing the Description Length of the Weights Ini adalah penelitian awal yang menafsirkan generalisasi neural network dengan mengaitkannya pada panjang deskripsi bobot. Penelitian ini mengajukan pandangan bahwa model yang baik memiliki bobot yang dapat dijelaskan dengan sedikit bit. Ini menjelaskan hubungan antara kompresi dan generalisasi dari sudut teori informasi. A Tutorial Introduction to the Minimum Description Length Principle Ini adalah materi tutorial yang memperkenalkan prinsip minimum description length. Pembelajaran ditafsirkan sebagai proses menemukan model yang menjelaskan data dengan cara paling singkat. Materi ini menyediakan konsep dasar yang diperlukan untuk memahami pemilihan model dan pembelajaran berbasis kompresi. Kolmogorov Complexity Ini adalah teori yang membahas panjang program terpendek yang menghasilkan sebuah string. Teori ini menyediakan landasan formal bagi description length dan algorithmic randomness. Ini terhubung dengan diskusi tentang kompresi, generalisasi, dan kompleksitas pada model AI. The First Law of Complexodynamics Ini adalah tulisan yang mengeksplorasi hukum yang menjelaskan mengapa kompleksitas dalam sistem tertutup meningkat lalu menurun. Kompleksitas tidak diperlakukan sekadar sama dengan entropi, melainkan sebagai sifat dinamis yang terpisah. Tulisan ini mengajukan pertanyaan konseptual tentang perubahan sistem kompleks seiring waktu. Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton Ini adalah penelitian yang memodelkan proses bercampurnya kopi dan krim dengan cellular automata. Penelitian ini menganalisis fenomena meningkat lalu menurunnya kompleksitas saat sistem bergerak menuju keadaan setimbang. Ini menunjukkan upaya untuk mengukur perubahan kompleksitas dari waktu ke waktu. Model generatif dan konsep kecerdasan universal Variational Lossy Autoencoder Ini adalah model yang menggabungkan variational autoencoder dengan autoregressive decoder. Makalah ini mengajukan cara mengontrol informasi apa yang harus dipertahankan oleh latent code. Ini membahas keseimbangan antara representation learning dan pelestarian informasi dalam model generatif. Machine Super Intelligence Ini adalah disertasi doktoral yang mengusulkan metode pengukuran universal untuk kecerdasan mesin. Disertasi ini mengeksplorasi secara teoretis sifat dan konsekuensi dari agen yang sangat kuat. Ini dapat dipandang sebagai salah satu fondasi formal dalam diskusi tentang kecerdasan umum buatan dan superintelligence. Kesimpulan Daftar referensi padat yang merangkum jalur perkembangan inti AI modern Daftar ini merangkum konsep-konsep utama yang mendorong perkembangan AI modern berdasarkan alur teknologinya. Daftar ini menunjukkan perubahan struktural mulai dari model computer vision awal hingga RNN, LSTM, attention, Transformer, dan scaling laws. Cakupannya juga luas, meliputi optimisasi neural network, pelatihan skala besar, pembelajaran struktur graf, teori informasi, hingga teori kompleksitas. Ini bukan sekadar daftar makalah dari satu bidang, melainkan lebih dekat pada jalur pembelajaran berlapis untuk memahami AI modern. Bagi peneliti dan pengembang AI, daftar ini dapat dimanfaatkan sebagai materi dasar untuk memahami konteks historis teknologi, prinsip inti, dan arah riset secara bersamaan.

(30papers.com)

21 poin oleh baeba 4 jam lalu | 2 komentar | Bagikan ke WhatsApp

Berdasarkan daftar makalah inti AI yang disebut-sebut direkomendasikan Ilya Sutskever kepada John Carmack, ini adalah situs yang mengumpulkan makalah inti machine learning agar mudah diikuti oleh pemula
Daftarnya mengikuti arus utama perkembangan AI modern, termasuk deep learning, computer vision, pemodelan sekuensial, attention, transformer, graph neural network, scaling law, teori informasi, dan teori kompleksitas
Tidak hanya mencantumkan makalah, tetapi juga menggabungkan catatan kuliah, tulisan penjelasan, dan uraian berbasis kode untuk menurunkan hambatan masuk ke makalah asli
Pembaca yang ingin memahami model bahasa skala besar modern dan sistem deep learning dapat meninjau titik awal arsitektur, teknik pelatihan, dan teori kompleksitas di satu tempat
Awalnya dikenal sebagai daftar 30 makalah, tetapi saat ini situs web tersebut hanya merangkum 27 entri

Pendahuluan

Daftar yang merangkum materi kunci perkembangan AI

Situs web ini adalah proyek yang mengumpulkan makalah dan materi pembelajaran yang membentuk titik balik utama dalam riset AI.
Daftar ini disusun berdasarkan rumor bahwa Ilya Sutskever merekomendasikannya kepada John Carmack.
Penulis situs web menyatakan bahwa dari total 30 makalah, saat ini baru 27 yang berhasil dikumpulkan.
Setiap entri memuat judul makalah, ringkasan isi utama, dan informasi kontributor utama.
Tujuan materi ini adalah merapikan ide-ide yang menjadi fondasi teknologi AI modern agar dapat dipahami dalam sekali lihat.

Isi

Perkembangan computer vision dan convolutional neural network

CS231n: Convolutional Neural Networks for Visual Recognition
- Ini adalah materi pembelajaran yang menjelaskan convolutional neural network dari dasar.
- Materi ini membahasnya secara bertahap, dari linear classifier hingga model pengenalan gambar mendalam.
- Berfungsi sebagai materi pengantar untuk mempelajari CNN di bidang computer vision.
ImageNet Classification with Deep Convolutional Neural Networks
- Ini adalah makalah AlexNet, yang memenangkan kompetisi ImageNet dengan selisih performa yang besar.
- Makalah ini membuktikan efektivitas deep convolutional neural network pada klasifikasi gambar skala besar.
- Dianggap sebagai makalah representatif yang memicu era deep learning modern.
Deep Residual Learning for Image Recognition
- Ini adalah makalah ResNet yang memperkenalkan residual connection.
- Jaringan ini dirancang agar mempelajari perubahan terhadap input, bukan seluruh transformasi.
- Hal ini memungkinkan pelatihan neural network yang sangat dalam hingga ratusan lapisan.
Identity Mappings in Deep Residual Networks
- Sebagai penelitian lanjutan dari ResNet, makalah ini menganalisis alasan shortcut identitas efektif.
- Makalah ini mengusulkan pre-activation residual block untuk memperbaiki struktur residual network.
- Berkontribusi pada stabilitas optimisasi dan peningkatan performa pada jaringan yang dalam.
Multi-Scale Context Aggregation by Dilated Convolutions
- Makalah ini mengajukan cara memperluas receptive field tanpa kehilangan resolusi melalui dilated convolution.
- Ini memungkinkan pemanfaatan informasi konteks yang lebih luas pada tugas dense prediction seperti segmentasi gambar.
- Berkontribusi untuk mempertahankan informasi spasial yang rinci sambil merefleksikan fitur dari cakupan yang luas.

Model sekuensial dan penyelesaian masalah ketergantungan jangka panjang

The Unreasonable Effectiveness of Recurrent Neural Networks
- Ini adalah tulisan blog praktis yang menguji pembuatan teks dengan RNN tingkat karakter.
- Tulisan ini menunjukkan lewat contoh bahwa RNN dapat menangkap struktur dan pola dalam data dalam kadar yang cukup besar.
- Ini menjelaskan secara intuitif potensi pemodelan data sekuensial.
Understanding LSTM Networks
- Ini adalah materi yang menjelaskan secara visual struktur gate dan cara aliran informasi pada LSTM.
- Fokusnya adalah membantu memahami prinsip mempertahankan informasi dalam sekuens yang panjang.
- Ini merupakan materi pengantar yang banyak digunakan bagi orang yang baru mempelajari LSTM.
Recurrent Neural Network Regularization
- Makalah ini mengajukan cara yang tepat untuk menerapkan dropout pada LSTM.
- Dijelaskan bahwa dropout seharusnya diterapkan pada non-recurrent connection, bukan recurrent connection.
- Hal ini berkontribusi dalam mengurangi overfitting pada recurrent neural network berskala besar.
Order Matters: Sequence to Sequence for Sets
- Makalah ini menganalisis pengaruh urutan input dan output terhadap performa pada model sequence-to-sequence.
- Ini membahas masalah yang muncul saat data yang pada dasarnya berupa himpunan diproses dengan model sekuensial.
- Makalah ini memberikan diskusi tentang cara memodelkan struktur data yang tidak memiliki urutan.

Peralihan struktural menuju attention dan transformer

Neural Machine Translation by Jointly Learning to Align and Translate
- Ini adalah makalah kunci yang memperkenalkan mekanisme attention dalam machine translation.
- Model ini tidak bergantung pada satu vektor ringkasan tetap, melainkan langsung merujuk kata sumber yang relevan.
- Makalah ini kemudian menjadi fondasi penting bagi perubahan arsitektur model pemrosesan bahasa alami.
Pointer Networks
- Ini adalah model sequence yang dirancang agar output menunjuk ke posisi tertentu dalam input.
- Cocok untuk masalah yang jawabannya dinyatakan sebagai pemilihan atau pengurutan elemen input.
- Makalah ini mengajukan arsitektur model yang dapat digunakan untuk optimisasi kombinatorial dan prediksi terstruktur.
Attention Is All You Need
- Ini adalah makalah yang mengusulkan arsitektur transformer.
- Makalah ini menghilangkan recurrence dan memproses data sekuensial hanya dengan self-attention.
- Ini menjadi fondasi struktural utama bagi model bahasa skala besar modern.
The Annotated Transformer
- Ini adalah materi yang menjelaskan makalah transformer baris demi baris bersama kode yang dapat dijalankan.
- Materi ini membantu memahami struktur makalah asli dari sudut pandang implementasi nyata.
- Berfungsi sebagai materi belajar yang menjembatani kesenjangan antara makalah riset dan implementasi praktis.

Memori, penalaran relasional, dan pembelajaran struktur graf

Neural Turing Machines
- Ini adalah model yang menggabungkan neural network dengan memori eksternal yang dapat dibaca dan ditulis.
- Memori dikendalikan melalui attention yang dapat didiferensiasikan.
- Makalah ini menunjukkan kemungkinan mempelajari algoritme sederhana dari data contoh.
A Simple Neural Network Module for Relational Reasoning
- Ini adalah makalah yang mengusulkan relation network.
- Makalah ini menambahkan modul ke neural network yang dapat menalar hubungan antar pasangan objek.
- Struktur ini berguna untuk penalaran visual dan penyelesaian masalah berbasis relasi.
Relational Recurrent Neural Networks
- Makalah ini menggabungkan memori berbasis self-attention ke dalam recurrent network.
- Dirancang agar memori yang tersimpan dapat saling berinteraksi.
- Tujuannya adalah meningkatkan performa pada tugas yang memerlukan penalaran relasional seiring waktu.
Neural Message Passing for Quantum Chemistry
- Makalah ini menjelaskan graph neural network secara terpadu sebagai message passing framework.
- Pembelajaran berbasis graf diterapkan untuk memprediksi sifat struktur molekul.
- Ini dapat dipandang sebagai makalah yang merangkum fondasi struktural riset graph neural network.

Pelatihan model skala besar dan scaling law

Scaling Laws for Neural Language Models
- Makalah ini mengukur bahwa loss model bahasa menurun dalam bentuk power law yang konsisten seiring ukuran model, data, dan jumlah komputasi.
- Ini memberikan dasar empiris untuk membangun model skala besar.
- Setelahnya, makalah ini menjadi acuan penting dalam strategi pengembangan model bahasa besar.
GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
- Makalah ini mengusulkan metode pipeline parallelism untuk melatih neural network raksasa dengan membaginya ke beberapa perangkat.
- Pekerjaan antarperangkat didistribusikan secara efisien sehingga pelatihan model skala besar menjadi praktis.
- Ini memberi solusi dari sisi infrastruktur pelatihan yang dibutuhkan untuk memperbesar ukuran model.
Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
- Ini adalah sistem yang menangani pengenalan suara bahasa Inggris dan Mandarin secara end-to-end.
- Sistem ini mempelajari sekuens suara menggunakan connectionist temporal classification.
- Ini menunjukkan potensi model pengenalan suara yang dapat diskalakan di lingkungan bahasa yang berbeda.

Memahami pembelajaran dari sudut pandang teori informasi, kompresi, dan kompleksitas

Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
- Ini adalah penelitian awal yang menafsirkan generalisasi neural network dengan mengaitkannya pada panjang deskripsi bobot.
- Penelitian ini mengajukan pandangan bahwa model yang baik memiliki bobot yang dapat dijelaskan dengan sedikit bit.
- Ini menjelaskan hubungan antara kompresi dan generalisasi dari sudut teori informasi.
A Tutorial Introduction to the Minimum Description Length Principle
- Ini adalah materi tutorial yang memperkenalkan prinsip minimum description length.
- Pembelajaran ditafsirkan sebagai proses menemukan model yang menjelaskan data dengan cara paling singkat.
- Materi ini menyediakan konsep dasar yang diperlukan untuk memahami pemilihan model dan pembelajaran berbasis kompresi.
Kolmogorov Complexity
- Ini adalah teori yang membahas panjang program terpendek yang menghasilkan sebuah string.
- Teori ini menyediakan landasan formal bagi description length dan algorithmic randomness.
- Ini terhubung dengan diskusi tentang kompresi, generalisasi, dan kompleksitas pada model AI.
The First Law of Complexodynamics
- Ini adalah tulisan yang mengeksplorasi hukum yang menjelaskan mengapa kompleksitas dalam sistem tertutup meningkat lalu menurun.
- Kompleksitas tidak diperlakukan sekadar sama dengan entropi, melainkan sebagai sifat dinamis yang terpisah.
- Tulisan ini mengajukan pertanyaan konseptual tentang perubahan sistem kompleks seiring waktu.
Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
- Ini adalah penelitian yang memodelkan proses bercampurnya kopi dan krim dengan cellular automata.
- Penelitian ini menganalisis fenomena meningkat lalu menurunnya kompleksitas saat sistem bergerak menuju keadaan setimbang.
- Ini menunjukkan upaya untuk mengukur perubahan kompleksitas dari waktu ke waktu.

Model generatif dan konsep kecerdasan universal

Variational Lossy Autoencoder
- Ini adalah model yang menggabungkan variational autoencoder dengan autoregressive decoder.
- Makalah ini mengajukan cara mengontrol informasi apa yang harus dipertahankan oleh latent code.
- Ini membahas keseimbangan antara representation learning dan pelestarian informasi dalam model generatif.
Machine Super Intelligence
- Ini adalah disertasi doktoral yang mengusulkan metode pengukuran universal untuk kecerdasan mesin.
- Disertasi ini mengeksplorasi secara teoretis sifat dan konsekuensi dari agen yang sangat kuat.
- Ini dapat dipandang sebagai salah satu fondasi formal dalam diskusi tentang kecerdasan umum buatan dan superintelligence.

Kesimpulan

Daftar referensi padat yang merangkum jalur perkembangan inti AI modern

Daftar ini merangkum konsep-konsep utama yang mendorong perkembangan AI modern berdasarkan alur teknologinya.
Daftar ini menunjukkan perubahan struktural mulai dari model computer vision awal hingga RNN, LSTM, attention, Transformer, dan scaling laws.
Cakupannya juga luas, meliputi optimisasi neural network, pelatihan skala besar, pembelajaran struktur graf, teori informasi, hingga teori kompleksitas.
Ini bukan sekadar daftar makalah dari satu bidang, melainkan lebih dekat pada jalur pembelajaran berlapis untuk memahami AI modern.
Bagi peneliti dan pengembang AI, daftar ini dapat dimanfaatkan sebagai materi dasar untuk memahami konteks historis teknologi, prinsip inti, dan arah riset secara bersamaan.

2 komentar

GN⁺ 2 jam lalu

Komentar Hacker News

Saya tidak menyangka tulisan ini akan mendapat perhatian sebesar ini; awalnya saya menganggapnya sebagai proyek kecil untuk membantu teman-teman mulai masuk ke membaca makalah riset.
Banyak umpan balik yang mengatakan latar belakang dan animasinya terlalu kuat, jadi sepertinya saya terlalu condong ke tampilan yang keren dibanding kegunaan.
Karena itu saya menambahkan toggle untuk mematikan gerakan halaman dan latar belakang makalah secara terpisah.
Ada juga yang menginginkan kesan pribadi yang lebih banyak untuk tiap makalah; untuk beberapa makalah populer, saya sudah menuliskannya di X @notmcrowley.
Jika membantu, saya bisa menambahkannya ke situs, tetapi saya tidak pernah belajar ML atau AI secara formal, jadi interpretasinya sepenuhnya pribadi dan bisa saja tidak tepat.
Jika ada orang yang lebih berpengalaman ingin berkontribusi, silakan hubungi saya.
- Untuk orang-orang yang tidak pernah memakai Twitter dan tidak berniat membuat akun ke depannya, akan bagus jika kesan pribadi seperti itu ditambahkan ke situs.
  Saya sedang mencoba mulai membaca makalah riset seperti teman-teman Anda, jadi kumpulan ini benar-benar pas untuk saya saat ini.
Seseorang mengunggah di X bahwa “ini adalah 30 makalah Ilya”, tetapi tanpa sumber dan tanpa menjelaskan dari mana asalnya, serta bukan orang yang terhubung dengan Ilya atau Carmack.
Lalu berdasarkan itu, seseorang membuat situs web yang sekadar cukup layak dipakai lewat vibe coding, dan itu naik ke halaman depan HN—apakah memang begitu situasinya?
- Seorang mahasiswa tahun pertama ilmu komputer tertarik pada suatu topik, membuat situs kumpulan makalah kecil, lalu mengunggahnya ke HN untuk dibagikan dengan orang lain.
  Dan memang situasinya ada seseorang yang menulis komentar yang tidak terlalu baik.
- Kumpulan sumber daya untuk para geek pada dasarnya tidak lebih dari umpan.
  Sesuatu yang kita bookmark dan upvote, lalu tidak pernah dilihat lagi selamanya :)
- Di situsnya sebenarnya sudah dicantumkan sumber sampai batas tertentu.
  Tertulis “daftar makalah yang dirumorkan diberikan Ilya Sutskever kepada John Carmack”.
  Di Manning juga ada buku bernama daftar Ilya.
  https://www.manning.com/books/sutskevers-list
- Muncul lagi satu penentang; padahal jumlahnya sudah tidak kurang.
Saya pembuatnya. Saya mahasiswa tahun pertama ilmu komputer di Trinity College Dublin, dan saya membuat ini karena pengalaman saya menghabiskan kuota Claude dalam jumlah besar untuk menanyakan pertanyaan-pertanyaan yang mungkin juga sudah ditanyakan orang lain ketika mulai membaca makalah riset.
Situs ini hanya proyek sampingan dan jelas masih dalam proses pengerjaan.
Saya bisa menjawab pertanyaan atau menerima PR di GitHub.
- Akan berguna jika ada opsi untuk mematikan animasi dan menampilkan tautan makalah sebagai daftar sederhana.
- Akan menarik mendengar apa tujuan situs ini.
  Saya penasaran apakah ini hanya meng-host ulang daftar tersebut dan memindahkan makalah ke format baru.
  Saya setidaknya berharap ada anotasi tentang apa yang dipelajari dari tiap makalah.
Akan bagus jika disusun menurut urutan baca yang direkomendasikan atau logis.
Misalnya, makalah yang memperkenalkan mekanisme attention sepertinya harus muncul sebelum “Attention Is All You Need”.
- Setuju. Jika makalah-makalahnya memang dalam urutan baca logis, akan sangat berguna jika fakta itu disebutkan di bagian paling atas.
Ini mungkin unggahan X asli yang membuat daftar ini terkenal. Diunggah pada 2024 dan mendapat 876 ribu tayangan.
https://x.com/keshavchan/status/1787861946173186062
Menurut saya, apakah daftar ini benar-benar dibuat oleh Ilya atau tidak bukan hal yang sangat layak diperdebatkan.
Banyak makalahnya diakui luas sebagai materi pembelajaran, misalnya annotated transformer, unreasonable effectiveness of RNNs, understanding LSTM networks.
Yang lain adalah makalah representatif yang akan memberi manfaat jika dibaca oleh siapa pun yang tertarik pada bidang ini: Krizhevsky et al. (2012) memperkenalkan AlexNet, Bahdanau et al. (2014) memperkenalkan attention, He et al. (2015) memperkenalkan ResNet, dan Vaswani et al. (2017) memperkenalkan Transformer.
Makalah sisanya lebih khusus, tetapi di antaranya Kaplan et al. (2020) dari OpenAI mungkin yang paling penting menurut saya.
Jika Anda pemula dan belum terbiasa membaca makalah, saya merekomendasikan Welch Labs Illustrated Guide To AI.
Bukunya indah dan menyenangkan untuk dibaca.
Setelah itu, membaca makalah-makalah ini sepertinya akan memberi pemahaman yang lebih dalam.
Awalnya saya mengira ini adalah “30 makalah teratas yang ditulis Ilya”, jadi sempat bingung kenapa “Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton” ada di daftar.
Dari kalimat “saya tidak membaca semua versi situs web dari awal sampai akhir”, juga tidak jelas apakah yang dimaksud versi situs web adalah teks sebenarnya atau “penjelasan”.
Bagaimanapun, itu terlihat seperti sinyal bahaya besar.
Setelah pertama kali melihat daftar ini, saya membuat PdfToMp3 supaya bisa mendengarkan makalah-makalah ini.
Sekarang itu sudah berkembang menjadi ListenDock.
Yang menarik, PdfToMp3 sudah ada sebelum NotebookLM, dan sudah memiliki “ringkasan” juga, tetapi waktu itu kami menyebutnya penjelasan guru.
Contoh “Teacher Explanation” untuk makalah “Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton” ada di sini.
https://listendock.com/e/quantifying_the_rise_and_fall_of_co...
- Saya tidak tahu kenapa setiap kali memposting sesuatu di sini selalu mendapat downvote.
  Saya penasaran apakah karena terlihat terlalu seperti spam, karena AI, atau ada bot downvote yang mengikuti saya.
Yang menonjol adalah makalah teori tentang kompleksitas Kolmogorov.
Bagi yang belum familier, Ilya berpendapat bahwa alasan jaringan saraf dapat melakukan generalisasi—dengan kata lain, alasan ia bekerja sejak awal—adalah karena ia pada dasarnya menemukan cara untuk menjelaskan data pelatihan secara sederhana dan konvergen ke batas kompleksitas Kolmogorov [1].
[1] https://www.youtube.com/watch?v=AKMuA_TVz3A
- Itu berlaku untuk semua model statistik, bukan sifat ajaib yang hanya dimiliki jaringan saraf.
Saya suka cara daftar ini disajikan.
Sebelum atau sambil membaca makalah-makalah ini, menonton beberapa ceramah atau podcast Ilya sepertinya akan membantu memahami gambaran besar dan bagaimana tiap karya saling terhubung.
https://www.dwarkesh.com/p/ilya-sutskever
https://simons.berkeley.edu/talks/ilya-sutskever-openai-2023...
https://www.dwarkesh.com/p/ilya-sutskever-2

jung5966 2 jam lalu

Terima kasih telah menyediakan daftar materi yang bisa dipelajari untuk mulai memahami LLM/AI modern.

-> CNN mengajarkan cara membaca ruang, RNN/LSTM cara mengingat waktu, attention cara mencari informasi yang diperlukan, Transformer cara memparalelkan proses tersebut, keluarga GNN/Relation/Memory cara menghitung hubungan antarobjek, makalah tentang scaling/infrastructure cara melatihnya dalam skala besar, dan keluarga MDL/Kolmogorov/complexity cara memikirkan mengapa pembelajaran adalah persoalan kompresi dan generalisasi.

Dengan kata lain, 27 makalah dalam daftar ini adalah kumpulan materi yang menunjukkan dari berbagai sudut pandang bahwa “sistem cerdas menjadi kuat ketika inductive bias yang baik, aliran informasi yang stabil, memori selektif, perhitungan relasi, pembelajaran skala besar, dan penemuan struktur yang dapat dikompresi digabungkan.”