Mengimplementasikan GPT dalam 60 baris dengan Numpy

• Tutorial untuk mengimplementasikan GPT sederhana dengan asumsi Anda sudah familier dengan Python dan Numpy, lalu memuat model GPT-2 yang dirilis OpenAI untuk mencoba menghasilkan teks

Daftar isi

• Apa itu GPT
• Penyiapan: Encoder, Hyperparameters, Parameters
• Basic Layers: GeLU, Softmax, Layer Normalization, Linear
• Arsitektur GPT
  • Embeddings
  • Decoder Stack
  • Project to Vocab
  • Decoder Block
  • Position-wise Feed Forward Network
  • Multi-Head Causal Self Attention
• Menggabungkan semuanya
• What's Next?
  • GPU/TPU Support
  • Backpropagation
  • Batching
  • Inference Optimization
  • Training
  • Evaluation
  • Architecture Improvements