Mistral Small 3 Dirilis

• Tim Mistral AI merilis model 24B-parameter bernama Mistral Small 3 dengan lisensi Apache 2.0.
• Model ini dapat bersaing dengan model yang lebih besar seperti Llama 3.3 70B atau Qwen 32B, serta cocok sebagai alternatif untuk model proprietary seperti GPT4o-mini.
• Mistral Small 3 dirancang dengan ukuran yang cocok untuk deployment lokal, dengan jumlah layer yang lebih sedikit sehingga waktu pemrosesan lebih singkat.
• Model ini menunjukkan akurasi di atas 81% pada MMLU, dengan latensi 150 tokens/s.

Kinerja

Evaluasi manusia

• Bersama penyedia evaluasi eksternal, mereka menilai lebih dari 1.000 set prompt coding dan prompt umum.
• Preferensi dievaluasi dengan membandingkan respons Mistral Small 3 dan model lainnya.
• Mereka berhati-hati untuk memastikan evaluasi yang adil dan yakin pada validitas benchmark tersebut.

Kinerja instruksi

• Model instruction-tuned ini menunjukkan kinerja yang kompetitif dengan model terbuka yang ukurannya tiga kali lebih besar serta model GPT4o-mini.
• Model ini mencatat akurasi tinggi pada benchmark kode, matematika, pengetahuan umum, dan pelaksanaan instruksi.

Kinerja pretraining

• Mistral Small 3 adalah model 24B yang memberikan performa terbaik untuk ukurannya dan mampu bersaing dengan model yang tiga kali lebih besar seperti Llama 3.3 70B.

Kasus penggunaan Mistral Small 3

• Dukungan percakapan dengan respons cepat: Sangat unggul untuk skenario yang membutuhkan respons cepat dan akurat.
• Function calling berlatensi rendah: Dapat menangani eksekusi fungsi dengan cepat dalam workflow otomatis.
• Pembuatan ahli untuk domain khusus: Dapat di-fine-tune untuk domain tertentu guna menghasilkan model ahli dengan akurasi tinggi.
• Inferensi lokal: Berguna bagi individu atau organisasi yang menangani informasi sensitif.

Menggunakan Mistral Small 3 di stack teknologi pilihan Anda

• Mistral Small 3 tersedia di la Plateforme sebagai mistral-small-latest atau mistral-small-2501.
• Mereka bekerja sama dengan Hugging Face, Ollama, Kaggle, Together AI, dan Fireworks AI untuk menyediakan model ini di berbagai platform.

Rencana ke depan

• Mistral Small 3 melengkapi model reasoning open source berskala besar seperti DeepSeek, dan dapat digunakan sebagai model dasar yang kuat untuk memperkuat kemampuan reasoning.
• Model yang lebih kecil dan model yang lebih besar akan dirilis di masa mendatang.

Model open source Mistral

• Mereka berencana menyediakan model tujuan umum dengan lisensi Apache 2.0.
• Bobot model dapat diunduh dan di-deploy secara lokal, serta bebas dimodifikasi dan digunakan.
• Model ini juga akan tersedia melalui serverless API, deployment on-premises dan VPC, serta platform kustomisasi dan orkestrasi.

[GN⁺]

Opini Hacker News

• Model Mistral Small ditujukan sebagai model optimal yang bisa dijalankan di laptop dengan performa yang memadai, dan sedang dibandingkan dengan Llama 3.3 70B serta Qwen 2.5 32B

  • Sedang dijalankan melalui Ollama di MacBook Pro M2 64GB, dan terasa cepat serta berkinerja baik
  • Perlu mengunduh bobot model sebesar 14GB

• Tom dari Epoch AI sedang membangun infrastruktur untuk melakukan evaluasi LLM secara sistematis dan dalam skala besar

  • Evaluasi dilakukan menggunakan library Inspect dari pemerintah Inggris
  • Mistral Small 3 diuji pada MATH level 5 dan memperoleh akurasi 0.45
  • Akurasi rata-rata diukur dengan melakukan sampling 8 kali untuk 1.324 pertanyaan

• Beralih ke lisensi Apache 2.0 sehingga keluar dari lisensi nonkomersial

• Setelah mencoba prompt pembuatan kode, performanya terlihat mirip dengan qwen2.5-coder-32b

  • Mengesankan melihat model kecil menghasilkan output yang semakin canggih
  • Ada harapan untuk versi baru model mixtral 8x7B

• Poin utama dari rilis kali ini adalah sebagai berikut

  • Menggunakan lisensi Apache 2.0
  • Latensi rendah (11ms/token)
  • Performanya berada di antara Qwen 2.5 32B dan Llama 3.3 70B
  • Model Mistral Small berjalan pada kecepatan 9 token/detik

• Karena rilis model MoE belakangan ini, 24GB VRAM terasa kurang memadai

  • Mistral Small 3 tidak menggunakan RL maupun data sintetis

• Model Mistral Small menjawab dengan tepat pertanyaan tentang album pertama Mary J Blige

• Ada rasa penasaran tentang alasan menggunakan model kecil

• Ada pendapat bahwa akan lebih baik jika nama model menyertakan jumlah parameter