Sistem Deep Learning

• Berdasarkan jadwal kuliah CMU dari 26/8 hingga 8/12, jadwal kuliah sistem deep learning dirangkum di satu tempat beserta tanggal, topik, pengajar, slide, dan tautan video versi 2022
• Waktu beberapa kuliah dapat berubah, dan slide kuliah mendatang masih menggunakan materi versi sebelumnya sehingga akan diperbarui sebelum kelas dimulai
• Bagian awal dimulai dari pengantar dan ulasan ML lalu berlanjut ke diferensiasi otomatis, optimisasi, abstraksi dan implementasi library jaringan saraf, serta implementasi jaringan konvolusional
• Bagian pertengahan hingga akhir membahas akselerasi perangkat keras untuk aljabar linear, GPU, RNN, Transformers, pelatihan model skala besar, model generatif, kustomisasi model pra-latih, dan deployment model
• Video kuliah online akan dipublikasikan bersama slide saat tersedia, dan jadwal juga mencakup libur Fall Break, Democracy Day, Thanksgiving, serta presentasi proyek mahasiswa

---

Cara penyediaan materi dan rentang jadwal

• Seluruh kuliah disediakan sebagai jadwal sementara
  • Waktu pasti untuk beberapa kuliah dapat berubah
  • Slide kuliah mendatang adalah materi kuliah versi sebelumnya, dan slide yang telah diperbarui akan diposting sebelum masing-masing kelas
  • Video kuliah online publik akan diposting bersama slide saat tersedia
• Tabel mencakup tanggal menurut CMU, nomor dan topik kuliah, pengajar, slide, serta video versi 2022
• Pengajar ditandai sebagai Dettmers, Chen, Both, dan Students

Alur kuliah

• Dari akhir Agustus hingga pertengahan September membahas dasar-dasar sistem deep learning
  • 26/8: Introduction / Logistics
  • 28/8: ML Refresher / Softmax Regression
  • 2/9: Manual Neural Networks / Backprop
  • 4/9: Automatic Differentiation
  • 9/9: Automatic Differentiation Implementation
• Dari pertengahan September hingga awal Oktober diperluas ke pelatihan model dan implementasi framework
  • 11/9: Optimization
  • 16/9: Neural Network Library Abstractions
  • 18/9: Normalization, Dropout, + Implementation
  • 23/9: NN Library Implementation
  • 25/9: Convolutional Networks
• Dari akhir September hingga pertengahan Oktober membahas akselerasi perangkat keras dan implementasi CNN
  • 30/9: Hardware Acceleration for Linear Algebra
  • 2/10: Hardware Acceleration + GPUs
  • 7/10: Hardware Acceleration Implementation
  • 9/10: Convoluations Network Implementation
  • 14/10, 16/10 tidak ada kelas karena Fall Break
• Pada akhir Oktober membahas pemodelan sekuens dan Transformers
  • 21/10: Sequence Modeling + RNNs
  • 23/10: Sequence Modeling Implementation
  • 28/10: Transformers and Autoregressive Models
  • 30/10: Transformers Implementation
• Setelah November berlanjut ke model skala besar, model generatif, deployment, dan presentasi proyek
  • 4/11 tidak ada kelas karena Democracy Day
  • 6/11: Training Large Models
  • 11/11: Generative Models
  • 13/11: Generative Models Implementation
  • 18/11: Customize Pretrained Models
  • 20/11: Model Deployment
  • 25/11: Future Directions / Q&A
  • 27/11 tidak ada kelas karena Thanksgiving
  • 2/12, 4/12, 8/12 adalah jadwal presentasi proyek mahasiswa

[GN⁺]

Komentar Hacker News

• Saya sangat suka bagian yang menyindir nama-nama yang nyaris tidak bermakna dalam deep learning, seperti “keys”, “queries”, dan “values” pada slide self-attention operation
  Dalam konteks LSTM juga disindir bahwa nama seperti “forget gate”, “input gate”, dan “output gate” disisipkan begitu saja, tetapi justru penjelasan semacam ini membuat saya merasa yakin bahwa saya benar-benar memahami topiknya
  Dulu rasanya saya benar-benar terseret ke arah yang salah karena istilah yang canggung

  • Lebih parah lagi kalau melihat komunitas machine learning memakai istilah neuroscience seenaknya
    Meski begitu, saya tetap menganggap bagus jika ada nama yang mudah diingat untuk dipakai saat menjelaskan konsep dengan kata-kata
  • “forget gate”, “input gate”, dan “output gate” adalah nama yang masuk akal
    cell_h = cell_(h-1) * forget_gate + tanh(linear(input_h)) * input_gate
out_h = cell_h * output_gate
    Seperti yang terlihat, forget_gate mengalikan angka dalam rentang [0, 1] untuk memasking input, input_gate mengendalikan input eksternal, dan output_gate tentu saja mengendalikan output
  • Setelah memahami apa yang direpresentasikan, namanya terasa bisa diterima. Saya penasaran nama lain apa yang lebih baik
  • Menarik juga melihat machine learning memelintir istilah statistik sampai menjengkelkan

• Materi pendidikan terbuka benar-benar terasa menghangatkan hati

• Kuliah ini cukup unik karena membahas pengantar kompilasi dan deployment machine learning

  • Saya sangat menyukai gaya Kolter sebagai pengajar, dan saya terutama menyukai kuliah ini karena setelah setiap perkuliahan ada video implementasi yang menyertai file notebook
    Di kebanyakan kuliah deep learning, implementasi diserahkan kepada asisten dosen, lalu rekamannya juga tidak dibuka untuk publik, tetapi kuliah ini adalah pengecualian
    Pengecualian bagus lainnya adalah kuliah NYU Deep Learning dari Yann LeCun dan Alfredo Canziani [0], yang juga merekam dan membuka semua sesi praktik “Practica”. Canziani adalah pengajar yang hebat
    [0]: https://atcold.github.io/pytorch-Deep-Learning

• Bagus. Saya juga cukup suka kuliah deep learning VU Amsterdam di YouTube
  Fokusnya memang tidak terlalu ke sisi sistem, tetapi sebagai pengantar modern untuk machine learning berbasis neural network, kuliah itu sangat bagus

  • Tautan: https://dlvu.github.io/

• Saya penasaran apakah kuliah ini akan dibuka lagi musim gugur ini. Sepertinya harus terdaftar untuk mengumpulkan tugas, jadi saya berharap segera dibuka lagi

• Saya senang melihat MLSys berkembang
  Metode deep learning membutuhkan komputasi yang sangat besar, sehingga banyak kemajuan muncul melalui algoritma baru dan metode optimisasi

• Saat di CMU, saya mengambil kuliah ini ketika pertama kali dibuka, dan kuliah itu benar-benar luar biasa serta tersusun dengan baik

• Bagian tentang akselerasi hardware terlihat bagus. Itu adalah celah dalam pengetahuan saya, jadi saya ingin mulai memahaminya