CEO Mistral mengakui kebocoran model AI open source baru yang mendekati performa GPT-4

• Sekitar 28 Januari, pengguna "Miqu Dev" mengunggah satu set file model bahasa besar (LLM) open source baru bernama "miqu-1-70b" ke HuggingFace, platform berbagi model dan kode AI open source
• Model ini menggunakan "Prompt format" yang sama dengan Mixtral 8x7b buatan Mistral, perusahaan AI open source yang saat ini dinilai memiliki performa terbaik
• Pada hari yang sama, pengguna anonim memposting tautan ke file miqu-1-70b di 4chan
• Sejumlah pengguna menemukan bahwa model ini menunjukkan performa sangat baik pada tugas-tugas LLM umum, dan mendekati GPT-4 milik OpenAI

Kuantisasi Mistral?

• Para peneliti machine learning (ML) di LinkedIn menunjukkan minat pada apakah "miqu" berarti "MIstral QUantized"
• Kuantisasi adalah teknik mengganti urutan angka panjang dalam arsitektur model AI menjadi versi yang lebih pendek agar model dapat dijalankan pada komputer dan chip yang kurang bertenaga
• Arthur Mensch, salah satu pendiri sekaligus CEO Mistral, mengungkapkan bahwa model "Miqu" bocor oleh karyawan yang terlalu bersemangat dari salah satu pelanggan early access Mistral
  • Mistral melatih ulang model ini dari Llama 2 dan menyelesaikan pretraining pada hari peluncuran Mistral 7B, dan sejak itu terus menunjukkan kemajuan yang baik
• Menariknya, alih-alih meminta penghapusan unggahan ilegal di HuggingFace, Mensch justru meninggalkan komentar bahwa mereka "mungkin bisa mempertimbangkan atribusi"

Momen penting bagi AI open source dan seterusnya?

• Rilis model open source dengan performa setingkat GPT-4 dapat menjadi momen penting bukan hanya bagi AI generatif open source, tetapi juga bagi seluruh bidang AI dan ilmu komputer
• OpenAI mungkin masih bisa mempertahankan keunggulan kompetitif dengan GPT-4 Turbo dan GPT-4V (vision), tetapi komunitas AI open source dengan cepat menyusul

Opini GN⁺

• Kemunculan model "Miqu" menunjukkan kemungkinan baru di bidang AI open source untuk bersaing dengan produk AI komersial
• Insiden ini menegaskan kapasitas inovatif komunitas open source dan pesatnya perkembangan teknologi
• Perkembangan model open source dapat mengubah cara perusahaan memanfaatkan AI, dan ini akan berdampak penting di seluruh industri teknologi

[GN⁺]

Opini Hacker News

• Seorang pengguna memantau halaman TheBloke sambil menunggu agar dapat menjalankan model kuantisasi Miqu Q5 di MacBook miliknya. Ia menggunakan Mixtral setiap hari, dan jika model ini (atau versi resmi barunya) mendekati GPT-4, ia akan menghentikan langganan OpenAI. Menurutnya, tim kecil Mistral sedang melampaui para pesaing dan menunjukkan seperti apa seharusnya "Open"AI.

  Tweet CEO Mistral: seorang karyawan yang terlalu bersemangat dari salah satu pelanggan dengan akses awal membocorkan versi model lama yang telah dikuantisasi (dan diberi watermark). Ia menambahkan bahwa model ini dilatih ulang dari Llama 2 segera setelah mereka memperoleh akses ke seluruh klaster pada hari peluncuran Mistral 7B, dan sejak itu mereka telah membuat kemajuan yang baik.

• Seorang pengguna menyebut bahwa meskipun sudah hampir setahun sejak GPT-4 dirilis, upaya kolektif untuk tetap mengejar GPT-4 tanpa adanya rahasia khusus akan sangat melelahkan. Apalagi dengan mengetahui bahwa OpenAI bisa merilis sesuatu yang jauh lebih baik kapan saja.

• Pengguna lain menanggapi klaim bahwa model ini mendekati GPT-4 dengan menunjukkan bahwa leaderboard memperlihatkan kesenjangan besar antara GPT4-0314 dan GPT4-Turbo, sehingga jika model ini hanya nyaris menyamai GPT4-0314, maka ia masih tertinggal satu tahun dari teknologi mutakhir.

• Pengguna lain lagi menyebut model yang bocor ini kemungkinan akan menjadi tidak relevan dalam beberapa bulan. Setelah model resmi keluar, model yang lebih baik akan dirilis, dan yang membuatnya antusias adalah cepatnya laju perkembangan, bukan model itu sendiri.

• Seorang pengguna mempertanyakan mengapa model ini disebut sebagai model open-source. Menurutnya, ini adalah model proprietari yang bocor ke internet, dan akan tetap begitu sampai Mistral merilisnya secara resmi. Untuk penggunaan pribadi ia tidak terlalu peduli, seperti pada Llama 1, tetapi ia menambahkan bahwa tidak ada perusahaan yang akan menggunakan model ini.

• Pengguna lain mengatakan bahwa Mistral mengingatkannya pada perusahaan teknologi lama yang bagus sebelum 2015.

• Seorang pengguna bertanya-tanya bagaimana kita bisa membayangkan kembali ke dunia di mana GPT menjadi seperti Apache atau MySQL versi terbaru, dijalankan oleh jutaan web host (maaf, host AI).

• Terakhir, seorang pengguna menyebut bahwa GPT-4 dirilis hampir setahun lalu, dan laju cepat OpenAI dalam merilis teknologi baru yang revolusioner tampaknya telah berhenti. Ia penasaran apa yang sedang terjadi di OpenAI, apakah kekacauan terbaru menyebabkan penundaan di perusahaan, atau apakah mereka sedang mengembangkan semacam 'senjata super'.