BigCode - proyek pembuatan AI untuk generasi kode yang dibuat sebagai open source

 (bigcode-project.org)
10 poin oleh xguru 2022-09-29 | 4 komentar | Bagikan ke WhatsApp
  • Proyek terbuka untuk membangun LLM (Large Language Model) untuk source code yang menyediakan fungsi seperti Codex milik OpenAI yang digunakan di GitHub Copilot
  • Akan dibuat melalui kolaborasi antara Hugging Face dan ServiceNow R&D
  • Tujuannya adalah menyediakan dataset berskala besar untuk melatih sistem generasi kode
  • Set parameter 15 miliar, lebih besar daripada Codex

Bacaan terkait

4 komentar

 
xguru 2022-09-29

Bagaimanapun, CoPilot yang berbayar memiliki berbagai keterbatasan,
jadi semoga ini bisa membawa perubahan besar seperti Stable Diffusion.
 
ffdd270 2022-09-29

Akan bagus kalau ini juga bisa berjalan secara lokal seperti Stable Diffusion. Bagaimanapun, Copliot memerlukan komunikasi eksternal (sehebat apa pun ia menjaga privasi kode dan melakukan enkripsi). Karena kode sumber ikut tercakup dalam komunikasi itu, saya jadi kurang nyaman dengannya.
 
laeyoung 2022-09-29

Memang begitu ya.

Secara realistis ini adalah LLM (Large Language Model), jadi sepertinya tidak akan bisa dijalankan langsung secara lokal, dan rasanya sudah cukup berguna kalau ukurannya setidaknya masih bisa dimasukkan ke lingkungan on-prem. Kalau 15 miliar parameter, itu punya ukuran parameter di antara GPT-2 (1,5 miliar) dan GPT-3 (175 miliar), tapi apakah benar bisa ya... sedih
 
ffdd270 2022-09-29

Setahu saya GPT-2 dulu bisa dijalankan secara lokal. Tabnine berbasis model itu, dan mereka memang menyediakan model lokal.