Stability AI merilis model LLM pengodean Stable Code 3B

• LLM berukuran parameter 3B yang 60% lebih kecil daripada CodeLLaMA 7b, tetapi menunjukkan performa serupa saat menghasilkan kode
• Dapat berjalan secara offline di laptop biasa bahkan tanpa GPU (seperti MacBook Air)
• Berdasarkan model Stable LM 3B yang dilatih dengan 4 triliun data bahasa alami, lalu dilatih lebih lanjut dengan data terkait rekayasa perangkat lunak/kode
  • Memilih 18 bahasa pemrograman dengan merujuk pada Survei Pengembang StackOverflow 2023

[misolab]

Karena kami berada di sektor keuangan, pengembangan hanya dilakukan di jaringan internal. Dalam kasus seperti ini, sebaiknya bagaimana pendekatannya?
Saya pernah mencoba hal seperti Copilot di rumah, jadi saya ingin tahu apakah bisa juga dimanfaatkan di kantor.

• Saya mengembangkan aplikasi dan belum terlalu paham soal AI. Kalau diberi petunjuk, saya akan rajin mencari tahu.

[cosine20]

https://github.com/janhq/jan
Ini adalah aplikasi GUI yang memungkinkan Anda menggunakan model secara offline. Jika Anda berada di jaringan internal, sepertinya Anda cukup mengunduh terlebih dahulu file instalasi aplikasi ini dan file model yang akan digunakan dari luar, lalu memindahkannya ke jaringan internal untuk dipakai.
Cara menambahkan model secara manual dijelaskan di bawah ini.
https://jan.ai/guides/using-models/import-manually/

[ahwjdekf]

Di lingkungan yang terisolasi jaringan, sejujurnya itu tak ubahnya seperti memasang belenggu pada para pengembang.

[ahwjdekf]

Belakangan ini juga mulai muncul pembicaraan soal pelonggaran kebijakan pemisahan jaringan dan tampak ada upaya untuk memperbaikinya, jadi mungkin kita masih bisa berharap. Namun, untuk tempat-tempat yang menangani data pribadi seperti bank, telekom, dan sebagainya, sepertinya ke depannya pun kemungkinan masih akan cukup sulit. Bagi para developer, itu benar-benar lingkungan yang terasa seperti penjara.

[laeyoung]

Mereka hanya membandingkan performanya dengan model-model yang ukurannya sama-sama kecil, tetapi kalau melihat leaderboard yang lebih luas, hasilnya seperti ini.
https://huggingface.co/spaces/bigcode/bigcode-models-leaderboard

Karena ini untuk kode, jadi malah terasa ada benarnya juga untuk berpikir bahwa meski sedikit lebih lambat atau mahal, bukankah yang performanya lebih bagus justru lebih baik?