StableLM dirilis - model bahasa terbuka dari Stability AI

 (github.com/Stability-AI)
24 poin oleh xguru 2023-04-20 | 2 komentar | Bagikan ke WhatsApp
  • Model 3B/7B telah dirilis, model 15B/30B/65B juga akan dirilis dan ada rencana hingga 175B
  • Model ini menggunakan lisensi CC BY-SA-4.0 dan dapat digunakan secara komersial dengan atribusi sumber
  • Berbasis pada dataset terbuka The Pile, tetapi dilatih dengan dataset baru berukuran 3 kali lebih besar yang memiliki 1.5T token
  • Panjang konteks adalah 4096 token
  • Sebagai PoC, model StableLM-Tuned-Alpha-7B yang di-fine-tune mengikuti prosedur Alpaca juga dirilis
    • Menggunakan 5 dataset percakapan: Stanford's Alpaca, Nomic-AI's gpt4all, RyokoAI's ShareGPT52K datasets, Databricks labs' Dolly, Anthropic's HH
    • Demo chatbot tersedia di Hugging Face

Bacaan terkait

2 komentar

 
laeyoung 2023-04-20

Bagus, bagus!
 
xguru 2023-04-20

Seperti halnya percepatan pasar yang terjadi setelah Stable Diffusion dirilis secara terbuka, tampaknya model bahasa kini juga akan dibanjiri data dan use case yang dapat digunakan secara publik.