Mistral: endpoint AI pertama, akses awal tersedia

Peluncuran beta layanan platform baru dari Mistral AI

• Mistral AI menyediakan model generatif terbuka yang kuat untuk para pengembang, beserta cara untuk menerapkan dan menyesuaikannya secara efisien.
• Hari ini dimulai akses beta untuk layanan platform pertamanya yang menyediakan tiga endpoint chatbot yang menghasilkan teks berdasarkan instruksi teks, serta endpoint embedding.
• Setiap endpoint memiliki trade-off performa/harga yang berbeda.

Endpoint generatif

• 'mistral-tiny' dan 'mistral-small' menggunakan dua model yang saat ini sudah dipublikasikan, sementara 'mistral-medium' menggunakan model prototipe yang sedang diuji di lingkungan deployment.
• Model-model ini mengintegrasikan teknik alignment yang paling efektif, seperti fine-tuning yang efisien dan direct preference optimization, untuk membuat model yang mudah dikendalikan pengguna dan menyenangkan untuk digunakan.
• 'Mistral-tiny' hanya mendukung bahasa Inggris, 'Mistral-small' mendukung banyak bahasa dan kode, dan 'Mistral-medium' dinilai sebagai salah satu model layanan papan atas.

Endpoint embedding

• 'Mistral-embed' menyediakan model embedding yang dirancang dengan fungsi pencarian sebagai fokus, dengan dimensi embedding 1024.
• Model embedding ini mencapai skor pencarian 55.26 di MTEB.

Spesifikasi API

• API mengikuti spesifikasi antarmuka chatbot populer yang pertama kali diajukan oleh pesaing.
• Tersedia library klien Python dan Javascript untuk melakukan kueri ke endpoint.
• Endpoint menyediakan system prompt agar pengguna dapat menetapkan tingkat moderasi yang lebih tinggi terhadap output model.

Dari akses beta menuju ketersediaan umum

• Mulai hari ini, siapa pun dapat mendaftar dan menggunakan API, dan kapasitas akan ditingkatkan secara bertahap.
• Tim bisnis dapat membantu memahami kebutuhan dan mempercepat akses.
• Mungkin masih ada bagian yang belum stabil selama proses menstabilkan platform agar sepenuhnya siap self-service.

Ucapan terima kasih

• Terima kasih kepada NVIDIA yang telah mendukung integrasi TensorRT-LLM dan Triton, serta bekerja bersama dalam membuat sparse mixture of experts yang kompatibel dengan TRT-LLM.

Opini GN⁺

• Hal terpenting dalam artikel ini adalah bahwa Mistral AI menyediakan model generatif baru dan model embedding kepada para pengembang, sehingga mereka dapat memanfaatkan kemampuan pembuatan teks dan embedding yang lebih baik.
• Teknologi ini akan mendorong kemajuan kecerdasan buatan, dan kemampuan untuk mendukung berbagai bahasa serta kode akan sangat memperluas kemungkinan penerapannya di pasar global.
• Bagi pengembang, ini menghadirkan peluang menarik untuk mengembangkan proyek dan solusi kreatif melalui alat dan API baru, dan menjadi kabar yang meningkatkan ekspektasi terhadap masa depan teknologi.

[GN⁺]

Komentar Hacker News

• Perusahaan kecil (sekitar 30 orang) ini dinilai sebesar 2 miliar dolar dan berhasil membuat model 7 miliar terbaik serta model MOE 7 miliar*8. Model-model ini memberikan performa setara model 70 miliar sambil hanya membutuhkan daya inferensi setara model 14 miliar. Ini bisa menjadi ancaman yang lebih besar daripada OpenAI, dan dengan investasi terbaru, mereka tampaknya segera bisa memperluas kapasitas untuk menangani beban trafik serta menarik peneliti-peneliti terbaik yang kecewa dengan berbagai masalah di industri.
• Model Mistral-medium mengalahkan GPT-3.5 dan model Gemini Pro milik Google dengan selisih besar di benchmark. Performa nyatanya juga diharapkan sama mengesankannya seperti hasil benchmark, dan fakta bahwa filter keamanan disediakan secara opsional merupakan keuntungan besar bahkan untuk aplikasi yang aman.
• Harga Mistral telah diumumkan. Mistral-medium dihargai 8 dolar per 1 juta token output, dan Mistral-small 1,94 dolar, yang menunjukkan daya saing jika dibandingkan dengan harga GPT-3.5 dan GPT-4.
• Server TextSynth milik Fabrice Bellard mulai mendukung model Mistral 7B. Fitur seperti dukungan CUDA, tata bahasa BNF, dan sampling skema JSON juga ditambahkan.
• Persaingan adalah cara dunia berkembang. Senang melihat pemain kecil maupun besar memiliki model yang kompetitif. Yang disayangkan adalah saat benchmark dirilis dengan metode pengujian yang disesuaikan agar menguntungkan pihak sendiri. Diperlukan benchmark terbuka untuk membandingkan model-model utama secara adil.
• Kurang ada pembahasan mengenai batas ukuran konteks pada model-model ini. Teknik sliding window pada praktiknya membatasi memori sekitar 8k token, yang tidak cukup untuk banyak tugas. Model turunan Llama2 memerlukan fine-tuning bukan hanya karena jumlah parameternya, tetapi juga karena konteks kecil yang disediakan.
• "Endpoint dengan akses awal" pada kenyataannya berarti "daftar tunggu untuk akses awal ke endpoint". Akses API saat ini hanya dengan undangan, dan mereka akan memberi tahu saat pengguna bisa berlangganan untuk mendapatkan akses ke model terbaik.
• Mengalahkan ChatGPT-3.5 benar-benar pencapaian yang luar biasa. GPT-3.5 tidak cukup untuk banyak kebutuhan sehari-hari, sehingga ekspektasi terhadap GPT-4 sangat besar.
• API Mistral mengikuti spesifikasi antarmuka chat populer yang diusulkan oleh pesaing. Ini menarik dan saya menyukainya.
• Mistral-embed menyediakan model embedding berdimensi 1024 dan dirancang dengan kemampuan pencarian sebagai fokus utama. Model ini mencapai skor retrieval 55,26 di MTEB. Belum ada informasi apakah model embedding ini akan tersedia sebagai open source.