Alpaca dan percepatan pengembangan LLM on-device

• Perubahan dalam 3 hari setelah tulisan "SD Moment akan datang"
  • Berjalan di Raspberry Pi 4GB dengan llama.cpp. 10 detik per token
  • Menjadi mudah dijalankan dengan Dalai
  • Setelah implementasi 26 detik per token di Pixel 6 dengan llama.cpp, ditingkatkan menjadi 1 detik per token di Pixel 5
  • Stanford merilis Alpaca, hasil fine-tuning LLaMA 7B

Stanford's Alpaca

• Kelemahan besar model LLaMA adalah kurangnya "instruction tuning" untuk tanya-jawab
• Salah satu inovasi besar OpenAI adalah menambahkan instruction tuning ke GPT-3
• Stanford menyediakan 52.000 contoh pelatihan untuk ini dan membuatnya bisa dilatih hanya dengan biaya $100
• Model 7B terkecil kini bahkan bisa berjalan di Raspberry Pi/ponsel, dan menghasilkan hasil yang sangat mengesankan
• Namun, ini masih belum untuk penggunaan komersial (tidak memungkinkan karena 3 alasan: lisensi LLaMA/data instruction set dibuat dari model OpenAI/tidak merancang langkah pengamanan)

Apa artinya ini?

• Model lisensi LLaMA tidak terlalu relevan bagi saya
• LLaMA menunjukkan bahwa model bahasa kelas GPT-3 bisa dilatih dengan sumber daya yang secara umum tersedia
• llama.cpp menunjukkan bahwa LLM bisa dijalankan pada hardware konsumen dengan kelas 4GB
• Alpaca menunjukkan bahwa dengan 52K contoh dan biaya $100, model 7B (dikurangi menjadi 4GB dengan kuantisasi 4bit) bisa di-fine-tune dan menghasilkan hasil yang mirip dengan text-davinci-003 terbaru
  • Yang digunakan untuk perbandingan adalah model penuh 7B (13,48GB, floating point 16bit), bukan model 4GB yang diperkecil ke 4bit, tetapi saya belum melihat data yang benar-benar membandingkan perbedaan kualitas di antara keduanya