- Carnegie Mellon University (CMU) membuka mata kuliah pengantar ini yang membahas cara kerja sistem kecerdasan buatan modern
- Berfokus pada machine learning dan large language model (LLM), kursus ini mempelajari teknologi dasar di balik sistem seperti ChatGPT, Gemini, dan Claude
- Peserta akan mempelajari dasar-dasar supervised learning, neural network, transformer, dan post-training, serta dapat mengimplementasikan LLM open-source secara langsung
- Versi online tersedia gratis, dengan video kuliah dan tugas dirilis mengikuti jadwal yang terlambat 2 minggu dibanding kelas CMU
- Penggunaan alat AI diperbolehkan, tetapi peserta dianjurkan untuk menulis hasil akhir sendiri sebagai kebijakan untuk meningkatkan pemahaman belajar
Gambaran kuliah
- Mata kuliah ini berfokus pada kecerdasan buatan (AI) dalam makna modern, yaitu machine learning dan large language model (LLM)
- Membahas teknologi dasar dari sistem seperti ChatGPT, Gemini, dan Claude
- Implementasi dasar LLM terdiri dari sejumlah kecil teknik dan struktur machine learning, dan dapat ditulis dalam beberapa ratus baris kode
- Peserta akan mempelajari prinsip dasar supervised learning, LLM, dan post-training, serta dapat mengimplementasikan chatbot AI secara langsung
- Topik utama yang dibahas meliputi
- Sejarah singkat AI
- Supervised learning: model linear, fungsi loss, optimisasi, neural network
- Large language model: self-attention, transformer, tokenizer, inferensi efisien
- Post-training: supervised fine-tuning, alignment dan instruction tuning, model penalaran, keselamatan dan keamanan
Kursus online
- Versi online gratis dibuka bersamaan dengan kelas CMU, dan menyediakan konten dengan jeda 2 minggu dari jadwal CMU
- Termasuk video kuliah, tugas (sistem mugrade), notebook Colab, dan lainnya
- Kuis, ujian tengah semester, dan ujian akhir tidak termasuk dalam versi online
- Melalui Enroll here, Anda dapat menerima notifikasi email saat kuliah dan tugas dipublikasikan
- TA, office hour, penilaian nilai, dan lainnya hanya berlaku untuk kelas CMU
Penilaian dan prasyarat
- Komposisi nilai
- Tugas dan pemrograman 20%
- Kuis tugas 40%
- Ujian tengah semester dan ujian akhir 40% (masing-masing tengah semester 10%, ujian akhir 20%)
- Mata kuliah prasyarat wajib
- Pemrograman: perlu mahir dalam pemrograman berorientasi objek berbasis Python (15-112 atau 15-122)
- Matematika: kalkulus dasar termasuk diferensiasi (21-111 atau 21-120), disarankan memahami dasar aljabar linear dan probabilitas
Tugas dan pemrograman
- Tugas utama bertujuan pada implementasi chatbot AI secara bertahap
- Dikumpulkan melalui sistem mugrade, dengan versi notebook Colab dan Marimo yang disediakan
- Beberapa tugas dikerjakan berdasarkan hasil dari tugas sebelumnya
- Daftar tugas
- HW0: Penilaian otomatis dan dasar pemrograman
- HW1: Aljabar linear dan PyTorch
- HW2: Diferensiasi otomatis dan pelatihan model linear
- HW3: Pelatihan neural network
- HW4: Implementasi transformer
- HW5: Implementasi LLM minimal
- HW6: Supervised fine-tuning dan pelatihan chatbot
- HW7: Reinforcement learning
- Setelah setiap tugas ada kuis 15 menit, dengan soal berdasarkan kode atau konsep dari tugas
Ujian dan jadwal kuliah
- Terdiri dari 2 ujian tengah semester dan 1 ujian akhir, semuanya ujian luring dan closed-book
- Tengah semester 1: supervised learning
- Tengah semester 2: large language model
- Ujian akhir: evaluasi kumulatif (dengan bobot lebih besar pada paruh akhir materi)
- Jadwal kuliah diperbarui selama semester, dan versi online dipublikasikan 2 minggu kemudian
- Contoh: 1/12 'Sejarah AI', 1/28 'Model linear', 2/16 'Ujian tengah semester 1', 3/18 'Ujian tengah semester 2', 4/20 'Batas akhir HW7', dll.
Kebijakan penggunaan alat AI
- Penggunaan asisten AI diperbolehkan: alat AI dapat digunakan sebagai referensi saat mengerjakan tugas dan pemrograman
- Namun, sangat dianjurkan agar hasil akhir ditulis sendiri
- Dalam evaluasi di kelas (kuis dan ujian), penggunaan AI dan materi eksternal dilarang
- Tujuan kebijakan ini adalah meningkatkan efisiensi belajar
- AI berguna sebagai bantuan belajar, tetapi ketergantungan berlebihan dapat menurunkan tingkat pemahaman
- Mahasiswa yang menyelesaikan tugas sendiri cenderung memperoleh hasil lebih baik dalam kuis dan ujian
1 komentar
Komentar Hacker News
Melihat kebijakan mata kuliah AI ini, penggunaan asisten AI diperbolehkan untuk tugas dan pekerjaan rumah pemrograman, tetapi versi final harus ditulis sendiri
Dalam kuis atau ujian di kelas, penggunaan AI maupun materi eksternal dilarang
Alasannya, AI berguna sebagai alat bantu belajar, tetapi ketergantungan berlebihan bisa menghambat pembelajaran
Ada bukti empiris bahwa mahasiswa yang menyelesaikan masalah sendiri mendapat hasil yang jauh lebih baik saat ujian
Mereka tahu mahasiswa pada akhirnya akan memakai AI, tetapi intinya adalah mempercayai kemauan belajar dan pengembangan diri mereka
Saya pernah membantu mata kuliah serupa sebelumnya, dan jika AI membantu debugging, mahasiswa mungkin bisa membahas lebih banyak materi dan fokus pada bagian menarik seperti implementasi CUDA
Mata kuliah baru ini terlihat sangat menarik, dan Profesor Zico adalah pengajar yang luar biasa
Mempercepat pemahaman dengan AI, lalu pada akhirnya dinilai tanpa AI, adalah struktur yang bagus untuk memperkuat pembelajaran
Saat itu terasa tidak adil, tetapi sekarang kalau dipikir-pikir, itu cara yang sangat adil
Rasanya pendekatan itu malah lebih cocok di era sekarang
Pengajar mata kuliah ini adalah anggota dewan OpenAI
Artikel terkait: Zico Kolter joins OpenAI’s board of directors
Disayangkan ‘modern AI’ di sini seolah hanya merujuk pada LLM
AI modern mencakup bidang yang jauh lebih luas, dan dari judulnya saya mengharapkan model SOTA yang lebih beragam
Meski begitu, kuliah CMU umumnya sangat bagus jadi ini kemungkinan tetap kursus yang baik
Kalau ada materi yang juga membahas bidang lain, saya sangat tertarik
Saya sudah mengikuti versi gratisnya sejak beberapa hari lalu, dan sistem tugasnya benar-benar luar biasa
Kita bisa menjalankan pengujian langsung secara lokal, jadi pembelajarannya jauh lebih efektif daripada sekadar menonton
Sangat direkomendasikan, 10 dari 10
Apakah dikerjakan di komputer pribadi, atau ada akses ke cluster?
Saya penasaran apakah kuliah ini memang kursus yang bagus
Atau mungkin ada kursus lain yang direkomendasikan untuk mempelajari cara kerja LLM secara sistematis
Saya ingin bertanya kepada orang-orang yang benar-benar mengikuti kelas ini sambil mengerjakan semua tugasnya
Secara realistis, perlu berapa jam per minggu untuk bisa menuntaskannya?
Saya menunggu AI postmodern muncul
Sayang tidak ada materi tentang symbolic reasoning
Saya berharap ada buku teks yang diterbitkan untuk mendampingi kuliah ini
Kalau terbit, saya akan langsung membelinya
Menyenangkan melihat kebangkitan Lisp dan Prolog
Meski begitu, Lisp dan Prolog tetap berguna
Untuk mengimplementasikan neural network dari nol, C cocok dipakai, dan dengan Python untuk menghubungkan subsistem, kita sudah bisa membangun sistem yang cukup kompleks
Mereka selalu diam-diam bertahan di ranahnya sendiri