StarCoder, LLM untuk kode yang dirilis oleh proyek BigCode

• Model 15.5B yang dilatih dengan 1 triliun token untuk 80+ bahasa pemrograman
• Untuk generasi yang efisien, menggunakan MQA dan memiliki jendela konteks 8192 token
  • StarCoderBase: dilatih dengan dataset The-Stack v1.2 (6TB) yang berisi data dari lebih dari 80 bahasa
  • StarCoder: model yang dilatih lebih lanjut khusus untuk Python
• Menyediakan demo chat dan ekstensi untuk VSCode

[ninebow]

Ini tautan makalah yang ada di postingan pengumuman Twitter. :)

https://drive.google.com/file/d/1cN-b9GnWtHzQRoE7M7gAEyivY0kl4BYs/view

[ninebow]

Ternyata juga sudah dirilis agar bisa langsung digunakan di HuggingFace Chat. :)
https://huggingface.co/chat/?model=bigcode/starcoder

[xguru]

SantaCoder - model pembuat kode yang dilatih dengan 1,1 miliar (1.1B) parameter