MIT 6.S184: Pengantar Flow Matching dan Model Difusi

 (diffusion.csail.mit.edu)
3 poin oleh GN⁺ 2025-03-04 | 1 komentar | Bagikan ke WhatsApp
  • Versi 2026 dari MIT 6.S184 adalah mata kuliah pengantar yang mempelajari model difusi dan model flow, yang digunakan untuk berbagai jenis data seperti gambar dan video, melalui teori dan praktik
  • Perkuliahan berlanjut dari persamaan diferensial stokastik, persamaan Fokker-Planck, flow matching, score matching, classifier-free guidance, ruang laten, hingga model difusi diskret
  • Setiap kuliah disertai praktik, sehingga peserta dapat mengimplementasikan flow matching dan model difusi secara bertahap dari awal
  • Pada bagian akhir mata kuliah, peserta membuat sendiri latent diffusion model dan materi disusun agar alat analisis probabilistik juga dapat diterapkan ke bidang lain
  • Pengalaman dalam probabilitas dan deep learning direkomendasikan, sementara prasyarat yang diperlukan mencakup aljabar linear, kalkulus multivariabel, probabilitas dasar, Python, dan pengalaman dengan PyTorch

Struktur mata kuliah dan tujuan pembelajaran

  • Flow Matching and Diffusion Models — 2026 Version adalah mata kuliah yang dirancang agar mahasiswa dan peneliti memahami model difusi dan flow secara lebih mendalam
  • Model yang dibahas merupakan metode AI generatif untuk gambar, video, dan berbagai jenis data lainnya
  • Materi disusun dalam alur dari dasar matematis hingga implementasi
    • Persamaan diferensial stokastik
    • Persamaan Fokker-Planck
    • Penjelasan bertahap untuk setiap komponen model
    • Implementasi terpandu melalui praktik di setiap kuliah
  • Di bagian akhir, peserta membangun latent diffusion model dari awal
  • Latar belakang yang direkomendasikan adalah pengalaman dalam probabilitas dan deep learning, sedangkan prasyaratnya adalah aljabar linear, kalkulus multivariabel, probabilitas dasar, Python, dan pengalaman dengan PyTorch

Catatan kuliah dan materi perkuliahan

  • Catatan kuliah adalah materi utama mata kuliah ini dan menjelaskan seluruh isi kelas secara mandiri dan lengkap
  • Informasi sitasi catatan kuliah
    • Introduction to Flow Matching and Diffusion Models
    • Peter Holderrieth, Ezra Erives
    • 2026
    • arXiv eprint: 2506.02070

  • Daftar kuliah

    • Kuliah 1: Flow and Diffusion Models
      • Membahas pengantar model generatif, persamaan diferensial biasa dan stokastik, serta sampling model flow dan difusi
      • slides 1, Video 13
    • Kuliah 2: Flow Matching
      • Membahas lintasan probabilitas kondisional dan marginal, medan vektor kondisional dan marginal, serta tujuan pembelajaran flow matching
      • slides 2, Video 14
    • Kuliah 3-A: Score Functions and Score Matching
      • Membahas fungsi score, denoising score matching, dan sampling SDE
      • slides 3, Video 15
    • Kuliah 3-B: Classifier-free Guidance
      • Membahas guided generation, classifier guidance, dan classifier-free guidance
      • slides 3, Video 16
    • Kuliah 4: Latent Spaces and Neural Network Architectures
      • Membahas VAE dan ruang laten, Diffusion Transformer dan U-Nets, serta contoh model skala besar
      • slides 4, Video 17
    • Kuliah 5: Discrete Diffusion Models
      • Membahas continuous-time Markov chains (CTMCs), sampling model CTMC, dan pelatihan model CTMC
      • slides 5, Video 18

Metode praktik

  • Mata kuliah ini memiliki total 3 praktik (labs) dan menyediakan pengalaman implementasi melalui latihan yang disertakan bersama kelas
  • Praktik dilakukan dengan membangun flow matching dan model difusi secara bertahap dari awal
  • Prosedur pengerjaan
    • Periksa instruksi pada tautan praktik
    • Unduh notebook .ipynb dari GitHub
    • Jalankan di lingkungan Jupyter Notebook; Google Colab juga dapat digunakan sebagai opsi
    • Setelah menyelesaikan semua pertanyaan, ekspor notebook ke PDF dan kirimkan ke Gradescope di Canvas
    • Jangan menghapus output sel karena hal itu akan menyulitkan penilaian
  • Jika menemui hambatan, peserta dapat merujuk ke solusi

Bacaan terkait

1 komentar

 
GN⁺ 2025-03-04
Komentar Hacker News

  • Kuliah MIT “6.S184: Introduction to Flow Matching and Diffusion Models” kini tersedia di YouTube
    Membahas algoritme AI generatif terbaru untuk gambar, video, protein, dan lainnya, beserta alat matematika untuk memahaminya
    Flow matching dan model difusi secara matematis cukup sulit, sehingga banyak kuliah berhenti pada tingkat intuisi; kuliah ini, meski ditujukan untuk pemula AI, bertujuan memberikan pengantar yang ketat secara matematis dan mandiri
    Sumber: https://x.com/peholderrieth

    • Saya sempat ingin menonton kuliah MIT Optics [1], tetapi kualitas audio/video-nya sangat buruk. Andai ada yang bisa memperbaikinya; mungkin saja bisa dilakukan dengan model difusi
      [1] https://ocw.mit.edu/courses/2-71-optics-spring-2009/resource...
    • Tautan playlist YouTube: https://www.youtube.com/watch?v=GCoP2w-Cqtg&list=PL57nT7tSGA...
    • Akan bagus jika ada kebiasaan yang membedakan dengan jelas antara materi belajar/kuliah yang sekadar “intuisi tingkat tinggi” dan materi mendalam berorientasi aplikasi yang tidak menghindari seluruh prasyarat pengetahuan
      Keduanya bernilai, tetapi di tengah lautan materi pengantar yang hanya memberi intuisi, sulit menemukan yang terakhir

  • Conditional normalizing flow termasuk solusi paling elegan yang pernah saya lihat untuk masalah inverse design, selama ada data untuk dilatih
    Gagasan mendorong dan menarik massa probabilitas dari distribusi dasar melalui fungsi bijektif hingga berubah secara hati-hati ke posisi yang diinginkan benar-benar elegan, dan konstruksi fungsi bijektif itu sendiri juga sangat cerdas
    Memang agak rumit diterapkan ketika sebagian nilai target bersifat kontinu dan sebagian lagi kategorikal, tetapi tetap metode yang sangat keren, dan menurut saya namanya juga sangat tepat

  • Ini kuliah yang menarik, saya ingin segera mengikutinya. Kuliah ini tampaknya berfokus ketat pada ruang kontinu, tetapi ada banyak hal menarik juga di difusi diskret
    Saya penasaran apakah ada rencana kuliah lanjutan. Menarik juga bahwa pengajarnya, Peter, baru saja menerbitkan paper tentang difusi diskret
    https://x.com/peholderrieth/status/1891846309952282661
    https://github.com/kuleshov-group/awesome-discrete-diffusion...

  • Saya penasaran apakah ada kumpulan kuliah terbuka yang membahas teknik AI terbaru

  • Saya sangat berterima kasih pada MIT OCW dan materi kuliah terbuka serupa. Saya telah menggunakannya sebagai bahan pendukung untuk mata kuliah jurusan, dan mempelajari topik yang sama dengan dua cara berbeda sangat membantu, terutama untuk materi yang sulit dipahami

  • Senang melihat kuliah ini muncul di sini. Sepertinya LLM telah menyedot banyak perhatian dari teknik yang sangat berguna ini

  • Akan bagus jika seseorang yang akrab dengan topik ini bisa menjelaskan secara singkat penggunaan utamanya dan kesan umumnya

    • Ini adalah prinsip dasar di balik model generasi gambar modern seperti Stable Diffusion dan Dalle, serta model generasi video dan audio. Belakangan, teknik ini juga mulai cepat digunakan di bidang kontrol robot [1]
      Model-model ini dilatih untuk secara bertahap mendorong sampel noise murni menuju distribusi data pelatihan. Karena dilatih dengan versi set pelatihan yang telah dicampur noise, selama proses denoising model dapat lebih baik menjelajahi dan memanfaatkan area di sekitar distribusi data nyata
      Salah satu masalah besar GAN adalah fenomena yang disebut mode collapse [2]
      [1] https://www.physicalintelligence.company/blog/pi0
      [2] https://en.wikipedia.org/wiki/Mode_collapse

  • Sepuluh tahun terakhir adalah masa keemasan pendidikan deep learning. Menyenangkan melihat orang-orang bersaing tentang siapa yang bisa merilis konten pembelajaran berkualitas lebih tinggi secara gratis

  • Luar biasa bahwa MIT membuka secara gratis konten yang begitu tepat waktu dan relevan seperti ini

  • Saya penasaran apa saja kuliah OCW lain yang membahas AI modern