Membangun LLM dari Dasar: Workshop Coding 3 Jam

• Jika ingin memahami large language model (LLM) dengan meluangkan beberapa jam di akhir pekan, telah disiapkan presentasi workshop coding 3 jam tentang implementasi, pelatihan, dan penggunaannya
• Di bawah ini adalah daftar isi yang menunjukkan apa saja yang dibahas dalam video (video itu sendiri memiliki chapter mark yang dapat diklik untuk langsung berpindah ke topik yang diminati)

Daftar isi

• 0:00 – Gambaran umum workshop

• 2:17 – Part 1: Pengenalan LLM

• 9:14 – Materi workshop

• 10:48 – Part 2: Memahami data input LLM

• 23:25 – Kelas tokenizer sederhana

• 41:03 – Part 3: Mengoding arsitektur LLM

• 45:01 – GPT-2 dan Llama 2

• 1:07:11 – Part 4: Pra-pelatihan

• 1:29:37 – Part 5.1: Memuat bobot pra-pelatihan

• 1:45:12 – Part 5.2: Bobot pra-pelatihan melalui LitGPT

• 1:53:09 – Part 6.1: Fine-tuning instruksi

• 2:08:21 – Part 6.2: Fine-tuning instruksi melalui LitGPT

• 2:26:45 – Part 6.3: Evaluasi benchmark

• 2:36:55 – Part 6.4: Evaluasi performa percakapan

• 2:42:40 – Kesimpulan

• Ini sedikit berbeda dari konten berbasis teks seperti biasanya, tetapi karena responsnya sangat baik beberapa bulan lalu, rasanya bagus untuk mencobanya sekali lagi

• Semoga menikmati tayangannya!

Referensi

1. Buku Build an LLM from Scratch
2. Repositori GitHub Build an LLM from Scratch
3. Repositori GitHub yang berisi kode workshop
4. Lightning Studio untuk workshop ini
5. Repositori GitHub LitGPT

Berlangganan Ahead of AI

• Proyek yang dimulai Sebastian Raschka 2 tahun lalu
• Ahead AI berfokus pada riset machine learning dan AI, dan dibaca oleh puluhan ribu peneliti serta praktisi yang ingin tetap unggul di bidang yang terus berubah

Ringkasan GN⁺

• Workshop ini sangat berguna bagi orang-orang yang ingin mempelajari cara mengimplementasikan dan melatih LLM dari nol
• Workshop ini membahas model seperti GPT-2 dan Llama 2, serta menjelaskan cara memuat bobot pra-pelatihan dan melakukan fine-tuning instruksi
• Ini bisa sangat menarik dan membantu bagi orang-orang yang tertarik pada riset machine learning dan AI
• Proyek lain dengan fungsi serupa termasuk library Transformers dari Hugging Face dan model GPT dari OpenAI

[GN⁺]

Komentar Hacker News

• Berterima kasih atas pembagian ini sambil berpendapat bahwa "kembali ke dasar selalu baik"

  • Sebagai sumber tambahan yang bagus, merekomendasikan https://jaykmody.com/blog/gpt-from-scratch/

• Bertanya, "Maaf kalau saya kurang paham, apakah ini berbeda dari milik Andrej Karpathy https://www.youtube.com/watch?v=kCc8FmEb1nY?"

  • Ada juga komentar, "Bagaimanapun, saya berencana menontonnya malam ini sebelum tidur"

• Berpendapat bahwa "tulisan Sebastian bagus" sambil menantikan bukunya

  • Ada banyak detail tentang komposisi LLM, dan berharap pembahasannya diperluas tentang bagaimana Llama dan OpenAI merapikan serta menyusun data pelatihan mereka
  • Berpendapat bahwa "ini tampaknya akan menjadi pertarungan penting dalam jangka panjang"