Code Llama, model bahasa besar mutakhir untuk coding

• Code Llama adalah model bahasa besar (LLM) mutakhir yang dirancang untuk coding, dan dapat menghasilkan kode serta bahasa alami tentang kode dari prompt kode maupun bahasa alami.
• Model ini dibangun di atas Llama 2 dan tersedia dalam tiga model: Code Llama (model kode dasar), Code Llama - Python (khusus Python), dan Code Llama - Instruct (disetel untuk memahami instruksi bahasa alami).
• Code Llama gratis untuk penggunaan riset dan komersial, dan dirilis di bawah lisensi komunitas yang sama seperti Llama 2.
• Model ini dapat digunakan untuk penyelesaian kode dan debugging, serta mendukung banyak bahasa populer seperti Python, C++, Java, PHP, Typescript (Javascript), C#, Bash, dan lainnya.
• Code Llama tersedia dalam tiga ukuran dengan parameter 7B, 13B, dan 34B, yang masing-masing dilatih dengan 500B token data terkait kode dan kode.
• Model-model ini disediakan untuk memenuhi berbagai kebutuhan layanan dan latensi; model 34B memberikan hasil terbaik, sementara model 7B dan 13B yang lebih kecil lebih cocok untuk tugas yang membutuhkan kecepatan dan latensi rendah.
• Model Code Llama dapat menangani konteks hingga 100.000 token, sehingga berguna untuk menghasilkan program yang lebih panjang dan melakukan debugging pada codebase yang lebih besar.
• Dua varian tambahan juga telah disetel: Code Llama - Python (dikhususkan pada 100B token kode Python) dan Code Llama - Instruct (disetel untuk menghasilkan jawaban yang membantu dan aman dalam bahasa alami).
• Dalam pengujian benchmark, Code Llama melampaui LLM lain yang tersedia secara publik untuk tugas pengkodean, dengan skor 53,7% pada HumanEval dan 56,2% pada Mostly Basic Python Programming (MBPP).
• Langkah-langkah keamanan telah diambil untuk mengurangi risiko terkait Code Llama, termasuk evaluasi kuantitatif atas risiko menghasilkan kode berbahaya.
• Resep pelatihan dan bobot model Code Llama dapat dilihat di repositori GitHub Code Llama.
• Makalah riset Code Llama memberikan detail tentang pengembangan model, keterbatasan, dan tantangan di masa depan.
• Para pengembang juga telah memperbarui Responsible Use Guide untuk menyertakan panduan tentang cara mengembangkan submodel secara bertanggung jawab.
• Code Llama dirancang untuk mendukung insinyur perangkat lunak di semua bidang, dan menginspirasi pihak lain agar memanfaatkan Llama 2 untuk membuat alat-alat baru yang inovatif bagi riset dan produk komersial.

[GN⁺]

Opini Hacker News

• Komentar untuk 'Code Llama, artikel tentang model bahasa besar tercanggih' telah dipindahkan ke URL lain.
• Lokasi baru komentar tersebut dapat ditemukan di https://news.ycombinator.com/item?id=37248494.
• Komentar tersebut dipindahkan karena dipublikasikan lebih cepat dari yang diperkirakan.
• Bagian komentar asli kini ditandai sebagai [dead].