- Transformer yang dilatih dengan 1 triliun token
- Kualitasnya mirip dengan LLaMA-7B, tetapi open source dan dapat digunakan secara komersial
- Tambahan 3 model fine-tuning juga dirilis
- MPT-7B-Instruct, MPT-7B-Chat, MPT-7B-StoryWriter-65K+ (mendukung 65K token)
- Dilatih di platform MosaicML selama 9,5 hari dengan biaya sekitar ~$200K, dan memungkinkan pelatihan, fine-tuning, serta deployment model MPT milik sendiri
- MPT: Mosaic Pretrained Transformers
2 komentar
Belakangan ini, melihat begitu banyak model LLM open source yang bisa digunakan secara komersial dirilis,
rasanya mereka sedang bersaing untuk menjadi Stable Diffusion di dunia LLM.
Saya penasaran siapa yang akhirnya akan jadi pemenangnya. +_+
Menurut saya, pertama integrasikan dan kembangkan dengan ChatGPT dulu, lalu nanti menggantinya dengan open-source yang paling maju tampaknya bisa menjadi alternatif yang baik.