CS 886: Tren Riset Terkini Model Fondasi

• Salah satu kuliah AI di University of Waterloo, yang dijuluki "MIT-nya Kanada"
• Setiap bab mencakup slide penjelasan, video kuliah YouTube, dan tautan referensi
• Daftar topik dan referensinya saja pun tampaknya sudah bisa menjadi rujukan yang baik

Daftar isi kuliah

Introduction to Foundation Models

1. Pengantar Foundation Model
2. Panduan perkuliahan
3. RNN & CNN
4. NLP & CV

Transformer Architecture

5. Self-Attention & Transformer
6. Efficient Transformer
7. Parameter-Efficient Tuning
8. Pretraining Language Model

Large Language Models

9. Large Language Model
10. Scaling Law
11. Instruction Tuning & RLHF
12. Pelatihan LLM yang Efisien
13. Inferensi LLM yang Efisien
14. Kompresi dan Sparsifikasi LLM
15. Prompting LLM

(Large) Multimodal Models

16. Vision Transformer
17. Diffusion Model
18. Pembuatan Gambar
19. Pre-training Model Multimodal
20. Large Multimodal Model

Augmenting Foundation Models

21. Tool Augmentation
22. Retrieval Augmentation