Ilya Sutskever: "Jika Anda mempelajari semua ini, Anda akan mengetahui 90% hal yang penting"

Ilya Sutskever membagikan daftar bacaan yang direkomendasikan terkait machine learning/AI

• The Annotated Transformer
• The First Law of Complexodynamics
• The Unreasonable Effectiveness of RNNs
• Understanding LSTM Networks
• Recurrent Neural Network Regularization
• Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
• Pointer Networks
• ImageNet Classification with Deep CNNs
• Order Matters: Sequence to sequence for sets
• GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
• Deep Residual Learning for Image Recognition
• Multi-Scale Context Aggregation by Dilated Convolutions
• Neural Quantum Chemistry
• Attention Is All You Need
• Neural Machine Translation by Jointly Learning to Align and Translate
• Identity Mappings in Deep Residual Networks
• A Simple NN Module for Relational Reasoning
• Variational Lossy Autoencoder
• Relational RNNs
• Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
• Neural Turing Machines
• Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
• Scaling Laws for Neural LMs
• A Tutorial Introduction to the Minimum Description Length Principle
• Machine Super Intelligence Dissertation
• PAGE 434 onwards: Komogrov Complexity
• CS231n Convolutional Neural Networks for Visual Recognition

Kumpulan tautan: https://arc.net/folder/D0472A20-9C20-4D3F-B145-D2865C0A9FEE

[lemonmint]

Sepertinya ada masalah pada crawling bot Neo.

[xguru]

Sepertinya Reddit memblokirnya. Jadi saya masukkan secara manual ;)

[GN⁺]

Opini Hacker News

Ringkasan kumpulan komentar Hacker News

• Judulnya mengecilkan cakupan tugas ini. Jika Anda membuka untuk melihat isinya:

  • salah satunya adalah kursus lengkap tentang convolutional neural network tautan
  • salah satunya adalah buku teks setebal 500 halaman tautan
  • yang lain lagi adalah buku teks setebal 80 halaman tautan
  • daftar ini mungkin bisa diselesaikan jika dipelajari penuh waktu selama sekitar 1 tahun. Bergantung pada prioritas, ini mungkin layak.

• Beberapa waktu lalu saya juga menyalin daftar itu di tautan agar lebih mudah di-wget (misalnya mengambil semua PDF arXiv)

  • semua PDF arXiv bisa diunduh menggunakan perintah wget.
  • bersama teman, saya memakai pdfunite untuk menggabungkannya menjadi satu PDF, lalu mencetaknya sebagai buku spiral di percetakan. Hasilnya sangat bagus.

• Perlu diingat, tidak ada konfirmasi bahwa ini adalah daftar yang sebenarnya.

  • belum ada kepastian bahwa ini benar-benar daftar aslinya.
  • kabarnya ini adalah daftar yang Ilya berikan kepada John Carmack setahun lalu.

• Berapa lama waktu yang dibutuhkan untuk mempelajari prasyaratnya agar bisa mempelajari semua ini jika Anda belum punya latar belakang CS?

  • setelah membaca daftar itu, bahkan memahami sekitar setengah judulnya pun terasa sulit.
  • saya penasaran apakah saya akan bisa memahaminya jika langsung mulai dari daftar ini, atau sebaiknya mulai dari tempat lain.

• Yang sering dilupakan orang adalah tanpa tujuan yang jelas dan nyata, sebanyak apa pun paper inti atau menarik yang Anda baca, Anda tetap tidak akan mengingat apa pun.

  • tanpa tujuan yang jelas dan konkret, sebanyak apa pun paper yang dibaca tidak akan membekas dalam ingatan.

• Ada beberapa diskusi lama tentang ini, sejak Oktober 2022. Saya penasaran seberapa usang daftar ini sekarang.

  • ada beberapa pembahasan tentang daftar ini sejak Oktober 2022.

• Gagasan bahwa ini hanyalah folder bookmark seseorang cukup masuk akal. Mana buktinya bahwa ini direkomendasikan oleh Ilya?

  • tidak ada bukti bahwa daftar ini direkomendasikan oleh Ilya. Bisa jadi ini hanya folder bookmark milik seseorang.

• Klaim bahwa ini mencakup 90% hal yang penting dalam ML terdengar agak berani.

  • klaim bahwa daftar ini mencakup 90% hal penting dalam machine learning cukup berani. Topik penting seperti reinforcement learning atau graph neural network tidak ada.

• Tidak ada apa pun di sini tentang LLM, padahal in-context learning, retrieval augmentation, penggunaan tool, dan multimodality benar-benar sedang berkembang pesat.

  • daftar ini tidak membahas large language model (LLM). Topik penting seperti in-context learning, retrieval augmentation, penggunaan tool, dan multimodality juga tidak ada.

• Membaca 30 studi tidak berarti “sudah belajar dan paham”. Terutama jika Anda mulai dari nol.

  • membaca 30 paper tidak berarti “sudah belajar dan memahami”. Terutama jika memulainya dari nol.