'Inferact' yang didirikan para pembuat vLLM, raih pendanaan seed $150 juta untuk mengomersialkan mesin inference open source

Ringkasan:

• Startup 'Inferact' yang didirikan oleh para pembuat vLLM, mesin inference LLM open source, berhasil meraih pendanaan seed senilai $150 juta (sekitar KRW 210 miliar) dengan valuasi perusahaan di angka $800 juta.
• Putaran pendanaan ini dipimpin oleh a16z dan Lightspeed, dan dana yang diperoleh akan digunakan untuk membangun platform inference AI kelas enterprise berbasis vLLM serta memperluas komersialisasinya.
• Inferact bertujuan menyediakan infrastruktur inference berkinerja tinggi dan berbiaya rendah agar perusahaan dapat men-deploy dan mengoperasikan large language model (LLM) secara efisien di berbagai lingkungan hardware.

Ringkasan detail:
Pendanaan seed besar yang diraih Inferact ini menunjukkan bahwa efisiensi infrastruktur AI, khususnya pada tahap 'inference', kini menjadi tantangan inti di pasar AI.

1. Hubungan Inferact dan vLLM

   • Inferact adalah perusahaan yang didirikan oleh para kreator utama proyek vLLM, salah satu mesin serving LLM open source yang paling luas digunakan saat ini. Perusahaan ini dipimpin oleh CEO Simon Mo.
   • vLLM memecahkan bottleneck memori melalui algoritma 'PagedAttention' dan menawarkan throughput yang lebih tinggi dibanding solusi yang ada, sehingga menjadi standar de facto di kalangan developer.

2. Skala pendanaan dan latar belakang

   • $150 juta (Seed Round): Nilai ini sangat tidak lazim untuk tahap seed dan mencerminkan ledakan permintaan pasar terhadap pengurangan biaya inference AI serta optimasi performa.
   • Valuasi $800 juta: Meski masih sebelum komersialisasi produk secara penuh, pengaruh vLLM yang sudah ada dan moat teknologinya mendapat penilaian sangat tinggi.
   • Investor utama: Andreessen Horowitz (a16z) dan Lightspeed Venture Partners, dua venture capital terkemuka di Silicon Valley, memimpin investasi ini.

3. Tujuan teknis dan roadmap

   • Komersialisasi enterprise: Berdasarkan vLLM yang bersifat open source, Inferact akan membangun platform komersial yang mencakup managed service, keamanan, dan dukungan teknis yang sesuai untuk lingkungan perusahaan.
   • Perluasan kompatibilitas hardware: Selain NVIDIA GPU, perusahaan ini berencana memperluas dukungan agar dapat memberikan performa optimal pada berbagai akselerator hardware seperti AMD dan AWS Inferentia.
   • Optimasi biaya inference: Seperti contoh perusahaan seperti Stripe yang telah memangkas biaya inference lebih dari 70% melalui framework serupa vLLM, Inferact ingin membantu perusahaan melayani LLM dengan biaya lebih rendah dan kecepatan lebih tinggi.

4. Dampak terhadap ekosistem developer

   • Keberlanjutan proyek open source vLLM akan makin terjamin, sekaligus menghadirkan opsi berbayar yang jelas bagi organisasi yang membutuhkan fitur enterprise.
   • Dengan mengabstraksikan proses optimasi model yang kompleks, diharapkan ML engineer dapat lebih fokus pada pengembangan aplikasi model daripada pengelolaan infrastruktur.

[darjeeling]

Fakta bahwa vLLM mengumpulkan 150 juta dolar menegaskan bahwa kita telah berpindah dari "era throughput" ke era "latensi (cold start)".

https://reddit.com/r/LocalLLaMA/…