- Meta memperkenalkan Code Llama, model khusus coding yang dibangun berdasarkan Llama 2.
- Model ini dapat menghasilkan kode dari prompt kode maupun bahasa alami, dan dalam hasil benchmark internalnya menunjukkan performa yang lebih baik daripada ChatGPT.
- Meta merilis model 7B, 13B, dan 34B yang dilatih dengan 500 miliar token kode dan data terkait.
- Mendukung hingga 100 ribu token konteks, sehingga lebih mudah untuk menulis program yang lebih panjang atau memasukkan persyaratan detail dan kode nyata ke dalam prompt.
- Selain model utama, Code Llama juga dirilis dalam 2 varian tambahan.
- Code Llama - Python: model yang di-fine-tune dengan tambahan 100 miliar token kode Python.
- Code Llama - Instruct: model yang di-fine-tune dengan 5 miliar token instruksi dan dioptimalkan untuk input bahasa alami serta output kode.
- Model lain tidak dioptimalkan untuk bahasa alami, jadi saat menghasilkan kode melalui bahasa alami, model ini yang harus digunakan.
- Hasil pengukuran performa model melalui HumanEval dan MBPP menunjukkan bahwa model ini setara atau lebih baik daripada ChatGPT (GPT 3.5).
- Saat GPT 3.5 mencatat 48.1% di HumanEval, Code Llama - Python mencatat 53.7%.
- GPT 4 masih berada di depan dengan 67%.
- Meta menambahkan berbagai langkah keamanan untuk meminimalkan risiko Code Llama menghasilkan malware.
- Pengujian nyata menunjukkan bahwa dibandingkan ChatGPT, model ini menghasilkan lebih sedikit kode berbahaya.
2 komentar
Lisensinya tampaknya sama seperti Llama. Jika MAU melewati 700 juta pengguna, harus mengajukan lisensi.
Ya, sepertinya tidak akan jadi masalah besar untuk perusahaan Korea haha
Dirilis dengan lisensi yang sama seperti Llama 2.
Saya juga tahu StarCoder terasa sedikit kurang memuaskan, jadi apakah sekarang akhirnya ada alternatif Copilot yang sungguhan?
Bagaimanapun, kalau memikirkan hal seperti ini, sepertinya performa GPT 4 memang benar-benar luar biasa.
Ia juga bagus dalam bahasa Korea, dan di benchmark pun GPT 4 menunjukkan performa yang jauh lebih tinggi...
GPT 3.5 juga jauh lebih unggul dalam bahasa Korea dibanding model terbuka lainnya.
Saya berharap akan ada model open source pembuat kode yang juga bekerja baik dalam bahasa Korea.