SantaCoder - Model pembuatan kode yang dilatih dengan 1,1 miliar (1.1B) parameter

 (huggingface.co)
6 poin oleh xguru 2022-12-29 | 2 komentar | Bagikan ke WhatsApp
  • Model bahasa multibahasa yang dilatih dengan kode Python, Java, dan Javascript
  • Disebut lebih unggul daripada InCoder (6.7B) dari Facebook / CodeGen-Multi (2.7B) dari Salesforce dalam generasi LTR dan infilling
  • Menggunakan sebagian dari dataset The-Stack v1.1 (6TB) yang dirilis BigCode

Bacaan terkait

2 komentar

 
siabard 2022-12-29

Saat ini proyek-proyek AI memang didorong habis-habisan oleh performa berbasis jumlah parameter, tetapi saya penasaran di kisaran harga berapa profitabilitasnya bisa terjamin. Apakah benar biaya operasionalnya bisa tertutup hanya dengan $10 per bulan seperti CoPilot... (meski saya tahu, mengkhawatirkan perusahaan besar itu sebenarnya tidak perlu...)
 
xguru 2022-12-29

GitHub Copilot milik GitHub berukuran 12B, jadi katanya memang ada sedikit perbedaan dalam kualitas kode yang dihasilkan dibandingkan itu.