Mistral AI mengungkap akses awal endpoint AI pertamanya

 (mistral.ai)
2 poin oleh GN⁺ 2023-12-12 | 1 komentar | Bagikan ke WhatsApp
  • Mistral AI membuka beta la plateforme yang memungkinkan pengembang menerapkan dan menyesuaikan model generatif terbuka ke produksi
  • Konfigurasi awal mencakup 3 endpoint chat untuk menangani instruksi teks dan 1 endpoint embedding, masing-masing dengan titik kompromi performa dan harga yang berbeda
  • mistral-tiny dan mistral-small berbasis model terbuka publik, sementara mistral-medium menyediakan model prototipe yang sedang diuji di lingkungan deployment
  • API mengikuti spesifikasi antarmuka chat yang banyak digunakan, serta mendukung klien Python·JavaScript dan pengaturan output melalui system prompt
  • Siapa pun dapat mendaftar dan menggunakan API, tetapi kapasitas akan diperluas secara bertahap dan mungkin masih ada bagian yang belum mulus hingga layanan mandiri penuh tersedia

Beta la plateforme dan susunan endpoint

  • Mistral AI menyediakan model generatif terbuka untuk pengembang, bersama cara untuk deployment dan kustomisasi untuk produksi
  • Layanan platform pertamanya telah dirilis dalam versi beta, dengan konfigurasi awal yang sederhana
    • 3 endpoint chat untuk generasi berbasis instruksi teks
    • 1 endpoint embedding yang ditujukan untuk penggunaan pencarian
    • Setiap endpoint memiliki kompromi performa/harga yang berbeda

  • Endpoint generatif

    • mistral-tiny
      • Endpoint paling efisien dari sisi biaya, saat ini menyediakan Mistral 7B Instruct v0.2
      • Hanya mendukung bahasa Inggris dan memiliki skor MT-Bench 7.6
      • Model instruction-tuned dapat diunduh dari Hugging Face
    • mistral-small
      • Menyediakan model terbaru Mixtral 8x7B
      • Menangani bahasa Inggris, Prancis, Italia, Jerman, Spanyol, dan kode
      • Skor MT-Bench 8.3
      • Detail model dapat dilihat di artikel blog tentang Mixtral
    • mistral-medium
      • Endpoint dengan kualitas tertinggi, saat ini menyediakan model prototipe yang sedang diuji di lingkungan deployment
      • Berdasarkan benchmark standar, ini adalah salah satu model papan atas yang tersedia saat ini
      • Menangani bahasa Inggris, Prancis, Italia, Jerman, Spanyol, dan kode
      • Skor MT-Bench 8.6

  • Penyelarasan model dan embedding

    • Untuk membuat model yang mengikuti instruksi lebih mudah dikendalikan dan lebih nyaman digunakan, Mistral AI menggabungkan efficient fine-tuning dan direct preference optimization
    • Model dilatih lebih dulu dengan data yang diekstrak dari web terbuka, lalu menjalani instruction fine-tuning berbasis anotasi
    • mistral-embed adalah endpoint embedding yang menyediakan model embedding 1024 dimensi
    • Model embedding dirancang dengan mempertimbangkan fungsi pencarian, dan mencatat skor pencarian MTEB 55.26

Akses API dan operasi beta

  • API mengikuti spesifikasi antarmuka chat yang banyak digunakan
  • Endpoint dapat dipanggil melalui pustaka klien Python dan JavaScript
  • Jika kontrol output penting di aplikasi, respons model dapat diatur lebih tegas melalui system prompt
  • Siapa pun dapat mendaftar dan menggunakan API, dan Mistral AI sedang memperluas kapasitas secara bertahap
  • Tim bisnis dapat membantu memeriksa kebutuhan pengguna dan mempercepat akses
  • Hingga platform stabil sebagai layanan mandiri penuh, mungkin masih ada bagian yang belum mulus
  • NVIDIA mendukung integrasi TensorRT-LLM dan Triton, serta pekerjaan kompatibilitas TRT-LLM untuk sparse mixture of experts

Bacaan terkait

1 komentar

 
GN⁺ 2023-12-12
Opini Hacker News

  • Mengejutkan bahwa kabar ini tidak dipasang tetap di bagian paling atas HN sepanjang hari
    Perusahaan kecil yang tampaknya beranggotakan sekitar 30 orang ini mendapat valuasi 2 miliar dolar AS, dan merilis model 7B×8 MoE yang menghasilkan performa setara kelas 70B dengan biaya inferensi setingkat 14B, sekaligus menjadi model 7B dengan performa terbaik
    Tampaknya mereka bisa menjadi ancaman potensial yang lebih besar bagi OpenAI daripada Google atau Anthropic. Berkat investasi besar baru-baru ini, dalam waktu dekat mereka tampaknya bisa meningkatkan skala ke volume trafik yang masuk akal, dan menarik para peneliti terbaik yang sudah muak dengan pamer-pamer dan drama yang tersaji di panggung industri

    • Karena sebelumnya sudah ada cukup banyak thread besar
      Mixtral of experts - https://news.ycombinator.com/item?id=38598559 - Desember 2023, 272 komentar
      Mistral-8x7B-Chat - https://news.ycombinator.com/item?id=38594578 - Desember 2023, 69 komentar
      Mistral AI Valued at $2B - https://news.ycombinator.com/item?id=38593616 - Desember 2023, 221 komentar
      Mistral's mixtral-8x7B-32kseqlen on Vercel - https://news.ycombinator.com/item?id=38584179 - Desember 2023, 30 komentar
      French AI startup Mistral secures €2B valuation - https://news.ycombinator.com/item?id=38580758 - Desember 2023, 76 komentar
      Mistral "Mixtral" 8x7B 32k model [magnet] - https://news.ycombinator.com/item?id=38570537 - Desember 2023, 236 komentar
      Memang tidak sepenuhnya berita yang sama, tetapi karena arah diskusinya sebagian besar mirip, semuanya atau sebagian besarnya bisa dianggap sebagai postingan semi-duplikat
    • Sejauh ini ini adalah perusahaan paling impresif yang lahir dari gelombang AI saat ini
      Dalam kira-kira 6 bulan, mereka sudah menghadirkan tolok ukur untuk model 7B, dan dengan cepat naik ke skala yang lebih besar
      Dulu saya menertawakan putaran pendanaan Maret sebagai sinyal hype karena mereka mendapat 300 juta dolar hanya bermodal tim 3 orang dan ide, tapi jelas saya tidak tahu detailnya. Eksekusinya benar-benar luar biasa
      Mereka tampaknya akan melahap semua use case yang tidak membutuhkan performa GPT-4, dan mungkin segera membidik wilayah model besar juga
    • Bahkan setelah melihat postingan blog dan berandanya, agak sulit memahami secara persis ini apa
      Jadi sepertinya hanya orang yang cukup akrab dengan AI yang akan menyadari relevansinya. Meski begitu, penjelasan di atas jelas membantu
    • Mistral berada di Prancis, dan saat ini UE tampak sedang menuangkan air dingin ke arah regulasi AI. Dalam jangka panjang sepertinya ini akan menjadi faktor negatif
    • Pendidikan teknik dan ilmu komputer di Prancis sangat menekankan matematika dan teori. Ini menjadi keunggulan dalam AI

  • Jika benchmark-nya benar-benar berujung pada performa nyata, ini sangat impresif [1]
    mistral-medium unggul jauh atas GPT-3.5 dan Gemini Pro, model publik terbaik Google saat ini, di seluruh benchmark pembanding yang tersedia: https://screenbud.com/shot/c0d904e3-24a3-4c23-a1e4-2f18bc021...
    [1] Jika Mistral 7B bisa dijadikan acuan, saya memperkirakan selisih performa nyatanya akan lebih besar. Fakta bahwa filter keamanan bersifat opsional juga menjadi keuntungan besar bahkan untuk aplikasi yang aman

    • Jika AI besar berikutnya dari Google sudah kalah oleh perusahaan kecil dengan sumber daya yang jauh lebih sedikit, itu cukup pahit bagi Google
    • Skor Winogrande-nya lebih tinggi daripada GPT-4. Metrik lainnya tampak lebih dekat ke GPT-3, jadi ini mengejutkan
    • Saya rasa Gemini Pro sebenarnya belum benar-benar “bisa digunakan”
      Saya tidak mempercayai benchmark promosi sebelum modelnya dirilis. Angkanya bisa berubah terlalu besar tergantung seberapa banyak performa harus diturunkan karena masalah keamanan sebelum dirilis
    • Kalau mereka merilis model baru itu sebagai open source, itu akan sangat menarik
    • Saya menonton sebuah video, dan Mixtral itu sendiri bekerja sangat bagus secara mengejutkan pada berbagai tugas. Ada beberapa area di mana GPT-4 tidak selalu bekerja sebaik itu

  • https://docs.mistral.ai/platform/pricing
    Harga juga sudah dipublikasikan
    Per 1 juta token output, Mistral-medium adalah 8 dolar, Mistral-small 1,94 dolar, gpt-3.5-turbo-1106 2 dolar, gpt-4-1106-preview 30 dolar, gpt-4 60 dolar, dan gpt-4-32k 120 dolar
    Harga ini tampak sebagai sinyal bahwa Mistral cukup yakin mistral-medium jauh lebih baik daripada gpt-3.5

    • Saya penasaran apakah ada estimasi kebutuhan energi untuk model-model ini
      Dari perhitungan kasar, inferensi model 30B di GTX 4090 sepertinya akan menghasilkan sekitar 30 token per detik [1], atau sekitar 100 ribu token per jam
      Jika sistem seperti ini memakai sekitar 1 kW, berarti sekitar 10 kWh per 1 juta token
      Dengan tarif listrik saat ini, rasanya sulit menurunkan biaya model 30B di bawah 2–4 dolar per 1 juta token
      [1] https://old.reddit.com/r/LocalLLaMA/comments/13j5cxf/how_man...
    • Jika token input juga diperhitungkan, secara keseluruhan kira-kira mendekati 5,25 euro vs 1,5 euro per 1 juta token
      Mistral-small tampaknya menjadi model yang paling langsung bersaing dengan gpt-3.5, dan lebih murah. Sekitar 1,2 euro per 1 juta token
      Sebagai catatan, saya mengasumsikan bobot token input dan output sama, dan saya tidak bisa melihat harga dalam dolar
    • Belum aman untuk berasumsi seperti itu. Ini masih rilis terbatas, yang pada praktiknya terbaca sebagai khusus undangan. Baru bisa diuji dan diverifikasi setelah sudah tersedia untuk umum sampai tingkat tertentu
    • Saya penasaran apakah Mistral dan GPT memakai tokenizer yang sama
    • medium tampaknya lebih ingin bersaing dengan Claude dari Anthropic daripada produk OpenAI
      https://www-files.anthropic.com/production/images/model_pric...

  • Pernyataan “endpoint tersedia dalam early access” sebenarnya berarti “ada daftar tunggu dengan panjang tidak diketahui untuk early access endpoint”
    Saat mencoba mengakses, muncul pesan “Access to our API is currently invitation-only, but we'll let you know when you can subscribe to get access to our best models.”

    • Melihat verifikasi email rusak dalam beberapa cara selama satu jam terakhir, tampaknya mereka tidak sesiap yang dibayangkan untuk menghadapi publisitas

  • “Mistral-embed, our embedding endpoint, serves an embedding model with a 1024 embedding dimension. Our embedding model has been designed with retrieval capabilities in mind. It achieves a retrieval score of 55.26 on MTEB.”
    Saya penasaran apakah ada informasi apakah model embedding ini open source, atau apakah direncanakan akan menjadi open source ke depannya

  • “Mistral-Medium outperforms GPT-4 in Winogrande benchmark 88% vs 87.5%”
    Sumber: https://twitter.com/yupiop12/status/1734137238177698106

  • Menarik bahwa beberapa platform seperti Lemonfox.ai menyediakan model fine-tuned Mistral dengan harga lebih rendah
    Mereka juga sudah mengumumkan API Mistral 8x7B. Jika ingin memonetisasi, jadi muncul pertanyaan apakah mereka akan terus merilis model seperti versi medium sebagai open source ke depannya

    • Jika tidak ada rilis bobot, saya jadi bertanya-tanya kenapa orang harus peduli. Pada saat model itu bisa bersaing dengan GPT-4, kemungkinan GPT-5 sudah keluar

  • Saya kebetulan melihat server TextSynth milik Fabrice Bellard baru mendukung model Mistral 7B
    “2023-10-21: CUDA support in the Windows version, mistral model support. Speculative sampling is supported. BNF grammar and JSON schema sampling.”
    “mistral_7B_instruct_q4 - 3.9GB - Mistral 7B chat model”
    https://bellard.org/ts_server/

  • “Mistral-medium. Our highest-quality endpoint currently serves a prototype model, that is currently among the top serviced models available based on standard benchmarks.”
    Menarik. Model ini mengungguli ChatGPT 3.5. Saya tidak tahu jenis modelnya seperti apa, dan ini bukan open source

    • Ah, kalau begitu yang dipakai di ollama sepertinya bernama versi tiny
      “Mistral-tiny. Our most cost-effective endpoint currently serves Mistral 7B Instruct v0.2, a new minor release of Mistral 7B Instruct. Mistral-tiny only works in English. It obtains 7.6 on MT-Bench. The instructed model can be downloaded here.”