MK-1

• MK-1 adalah perusahaan baru yang ingin menghadirkan model AI dengan kemampuan setara atau lebih baik dibanding para pemain elit AI seperti OpenAI, Anthropic, dan Google.
• Produk pertama perusahaan, MKML, adalah runtime inferensi yang dapat memangkas biaya inferensi model bahasa besar (LLM) di GPU hingga 2x hanya dengan beberapa baris kode Python.
• MKML kompatibel dengan ekosistem populer seperti Hugging Face dan PyTorch.
• MKML saat ini berada pada tahap rilis beta tertutup dan sedang mencari mitra awal.
• MKML dapat membantu mengoptimalkan model AI dengan mengurangi penggunaan memori dan meningkatkan kecepatan. Misalnya, model Llama-2 13B dapat diperkecil dari 26GB menjadi 10.5GB dan waktu inferensi forward pass dapat dipangkas hingga 2.3x.
• MKML dapat digunakan untuk mengoptimalkan model AI berdasarkan biaya atau kecepatan. Dalam skenario optimasi biaya, model dapat dibuat agar cocok untuk instance GPU yang lebih murah, dan dapat berjalan lebih cepat daripada model dasar pada instance yang lebih mahal. Dalam skenario optimasi kecepatan, MKML dapat membuat model hingga 2.0x lebih cepat sehingga bisa melayani lebih banyak pengguna.
• MKML dapat dengan mudah diintegrasikan ke alur kerja yang sudah ada. Ini mencakup proses mengompresi model satu kali menggunakan salah satu codec model MKML, menyimpan model terkompresi ke disk, lalu memuatnya untuk inferensi.
• MKML mendukung berbagai ukuran model dan konfigurasi sistem, serta secara konsisten lebih cepat daripada baseline dalam pengujian kecepatan.
• MKML juga mempertahankan fidelitas tinggi terhadap model asli, dengan perbedaan yang dapat diabaikan pada pengukuran perplexity standar.
• Visi jangka panjang MK-1 adalah mendorong performa AI hingga batas maksimal di seluruh stack inferensi. Mereka memiliki roadmap yang ambisius untuk pengembangan ke depan.

[GN⁺]

Opini Hacker News

• Artikel tersebut membahas teknologi baru bernama MK-1, tetapi tidak membandingkan hasilnya dengan metode kuantisasi yang sudah ada, sehingga sebagian pembaca menganggap ini sebagai kelalaian penting.
• Seorang pembaca memberikan bagan perbandingan untuk kuantisasi lain yang tersedia untuk Llama 1, dan menyarankan bahwa performa MK-1 mirip dengan Q5_1, dengan sedikit pengurangan kompleksitas dan peningkatan kecepatan lebih dari 2x.
• Beberapa pembaca menyatakan skeptisisme terhadap MK-1, dan menyarankan bahwa ini mungkin hanya pembungkus di sekitar teknologi yang sudah ada seperti bitsandbytes atau ggml.
• Muncul kekhawatiran karena MK-1 bukan open source, dan beberapa pembaca menyatakan mereka tidak akan menggunakannya karena cepatnya perkembangan bidang ini dan kurangnya kemudahan penggunaan.
• Seorang pembaca mengatakan pernah terlibat dalam pekerjaan kuantisasi model ML, dan berpendapat bahwa kuantisasi open source 4-bit atau 8-bit bukanlah yang terbaik, sambil mengisyaratkan adanya teknik yang lebih canggih.
• Diminta perbandingan antara MK-1 dan mlc-llm dengan kuantisasi 4-bit, dengan laporan bahwa yang terakhir menjalankan Llama2 13B dengan sangat cepat.
• Sebagian pembaca menyatakan ketidakpuasan terhadap ketergantungan proprietari dalam stack teknologi, serta lebih memilih opsi tingkat atas seperti OpenAI dan Anthropic atau membuat solusi sendiri.
• Keputusan perusahaan untuk mengoptimalkan model populer dan menjualnya dengan lisensi OSS yang nyata, sambil tidak mengkhawatirkan pembatasan lisensi atas bobot model, tampak sebagai langkah strategis.
• Beberapa pembaca menyebut MK-1 sebagai penipuan startup AI lainnya, menuduhnya menggunakan GGML, bersifat tertutup, dan mencari uang VC.
• Ketiadaan open source dan sifat tertutup MK-1 tampak sebagai kelemahan utama, dan beberapa pembaca menyatakannya sebagai "orang yang tenggelam".