MIT 6.S184: Pengantar Flow Matching dan Model Difusi

Pengantar Flow Matching dan Model Difusi

• Mata kuliah ilmu komputer MIT 6.S184 adalah kuliah tentang AI generatif yang memanfaatkan persamaan diferensial stokastik.
• Model berbasis difusi dan aliran telah menjadi teknologi terdepan AI generatif di berbagai modalitas data seperti gambar, video, dan musik.
• Kuliah ini bertujuan membangun dasar matematis dari model-model tersebut dari awal, dan pada akhir perkuliahan mahasiswa akan membangun sendiri model difusi gambar sederhana.
• Kursus ini ideal bagi mahasiswa yang ingin memahami teori dan praktik AI generatif secara mendasar.

Catatan Kuliah

• Catatan kuliah menjadi pusat pembelajaran dan memberikan penjelasan mandiri untuk semua materi.
• Slide kuliah disediakan sebagai bantuan visual dan bukan materi yang berdiri sendiri.

Kuliah

• Kuliah 1: Model Aliran dan Difusi

  • Pengantar model generatif
  • Persamaan diferensial biasa dan stokastik
  • Sampling dalam model aliran dan difusi

• Kuliah 2: Membangun Tujuan Pelatihan

  • Jalur probabilitas kondisional dan marginal
  • Persamaan kontinuitas dan Fokker–Planck
  • Medan vektor marginal dan fungsi skor marginal

• Kuliah 3: Melatih Model Aliran dan Difusi

  • Flow matching
  • Score matching
  • Berbagai pendekatan model difusi

• Kuliah 4: Membangun Generator Gambar

  • Guidance dan generasi kondisional
  • Arsitektur jaringan saraf
  • Tinjauan model mutakhir

• Kuliah 5: Robotika Generatif

  • Kuliah tamu oleh Benjamin Burchfiel
  • Model aksi berskala besar
  • Model difusi untuk robotika

• Kuliah 6: Desain Protein Generatif

  • Kuliah tamu oleh Jason Yim
  • Merancang protein baru dengan AI
  • Flow matching untuk generasi struktur protein

Praktikum

• Ada 3 praktikum yang disediakan bersama kelas ini, yang menawarkan latihan membangun flow matching dan model difusi langkah demi langkah.
• Praktikum dapat dibuka dan dikerjakan di Google Colab.

Pengajar

• Peter dan Ezra mengajar bersama, dengan Tommi Jaakkola berperan sebagai sponsor dan penasihat.
• Peter Holderrieth adalah mahasiswa doktoral, dan Ezra Erives adalah mahasiswa program magister teknik.

Prasyarat

• Diperlukan aljabar linear, analisis riil, dan teori probabilitas dasar, serta pengalaman dengan Python dan PyTorch.

Catatan

• Kuliah ini tidak membahas large language model (LLM). LLM mencakup data diskret seperti teks, sedangkan kuliah ini berfokus pada data di ruang kontinu seperti gambar, video, dan struktur protein.

Ucapan Terima Kasih

• Kuliah ini tidak akan mungkin terlaksana tanpa dukungan dari banyak individu dan organisasi.
• Ucapan terima kasih disampaikan kepada Profesor Tommi Jaakkola, Lisa Bella dan Ellen Reid dari MIT EECS, serta banyak pihak lainnya.

[GN⁺]

Komentar Hacker News

• Kelas MIT "6.S184: Introduction to Flow Matching and Diffusion Models" telah dirilis di YouTube

  • Mengajarkan algoritma AI generatif seperti gambar, video, protein, dan alat matematika untuk memahaminya
  • Model flow dan diffusion adalah topik yang rumit secara matematis, sehingga banyak kuliah hanya mengajarkan intuisi tingkat tinggi
  • Kuliah ini memberikan pengantar yang ketat secara matematis dan berdiri sendiri, serta ditujukan untuk pemula AI
  • Semoga kuliahnya disukai

• Conditional normalizing flow adalah salah satu solusi paling indah untuk masalah inverse design

  • Jika punya data, ini bisa dilatih
  • Gagasan mengubah distribusi dasar dengan fungsi bijektif lalu memindahkannya ke lokasi yang tepat terasa sangat elegan
  • Ada kesulitan dalam menangani target kontinu dan kategorikal secara bersamaan
  • Ini benar-benar metode yang keren

• Sepuluh tahun terakhir adalah masa keemasan pendidikan deep learning

  • Persaingan untuk menyediakan konten pembelajaran berkualitas tinggi secara gratis terasa menarik

• Kuliah yang keren, saya ingin segera mengikutinya

  • Kuliah ini berfokus pada ruang kontinu, tetapi banyak hal menarik juga terjadi pada diffusion diskret
  • Saya penasaran apakah ada rencana untuk kuliah lanjutan
  • Saya mengetahui bahwa pengajar Peter telah menerbitkan makalah tentang diffusion diskret

• Saya penasaran apakah ada koleksi yang mengumpulkan semua kuliah publik tentang teknologi AI terbaru

• Sangat berterima kasih kepada MIT OCW dan para kolaboratornya

  • Menggunakan ini sebagai materi pendamping, dan mempelajari topik yang sama dengan dua cara berbeda sangat bermanfaat
  • Ini sangat membantu terutama untuk topik yang sulit dipahami

• Meski teknologi ini sangat berguna, tampaknya LLM justru mengalihkan banyak perhatian

• Sangat bagus bahwa MIT menyediakan konten yang tepat waktu dan relevan secara gratis

• Terima kasih banyak, saya penasaran apakah ada kuliah OCW lain tentang AI modern

• Kerja bagus, selamat