Perjalanan DeepSeek Menuju Open Source untuk Mesin Inferensi

• Tim DeepSeek mengumumkan rencana untuk mengembalikan mesin inferensi internal mereka (DeepSeek Inference Engine) ke open source
• Mesin inferensi yang ada saat ini berbasis vLLM, dan pembagiannya sedang dipertimbangkan seiring meningkatnya permintaan deployment untuk model DeepSeek-V3 dan R1
• Sulit untuk membuka seluruhnya karena kode lama, ketergantungan pada infrastruktur, dan beban pemeliharaan, sehingga arahnya dialihkan ke kontribusi modular dan per fitur
• Ke depannya, mereka berencana bekerja sama erat dengan komunitas open source untuk membagikan optimasi performa dan fitur yang dapat digunakan ulang
• DeepSeek akan secara aktif menyelaraskan optimasi inferensi dan dukungan Day-0 bersama komunitas saat merilis model

---

Perjalanan DeepSeek Menuju Open Source untuk Mesin Inferensi

Respons terhadap Open Source Week dan kontribusi lanjutan

• Dalam Open Source Week yang baru-baru ini berlangsung, mereka merilis beberapa library sebagai open source
• Di tengah respons positif dari komunitas, kolaborasi, diskusi, dan perbaikan bug berlangsung sangat aktif
• Ini menjadi momentum untuk memutuskan membagikan mesin inferensi internal DeepSeek sebagai open source

Teknologi dasar

• Framework pelatihan DeepSeek berbasis PyTorch
• Mesin inferensinya dikembangkan dari fork awal proyek vLLM, dengan banyak kustomisasi yang dioptimalkan khusus untuk model DeepSeek

Kendala realistis dalam membuka seluruh proyek sebagai open source

• Perbedaan codebase: dimulai dari fork vLLM lebih dari setahun yang lalu, sehingga meski strukturnya mirip, banyak bagian telah berubah signifikan
• Ketergantungan pada infrastruktur internal: sangat terikat dengan infrastruktur DeepSeek sendiri, seperti alat manajemen cluster, sehingga sulit dimanfaatkan di luar
• Keterbatasan sumber daya pemeliharaan: sebagai tim riset kecil, mereka tidak punya cukup kapasitas untuk terus mengelola proyek open source berskala besar

Alternatif: berkolaborasi dengan proyek open source yang sudah ada

Ke depan, kontribusi akan dilakukan dengan arah berikut:

• Ekstraksi fitur modular: memisahkan komponen yang bisa digunakan ulang menjadi library independen untuk dikontribusikan
• Berbagi optimasi performa: memasukkan peningkatan performa dan ide desain dari implementasi internal ke proyek open source yang ada

Apresiasi untuk komunitas dan visi ke depan

• Tanpa keberadaan komunitas open source, kemajuan pengembangan AGI tidak akan mungkin terjadi
• Sistem operasi, bahasa, framework ML, mesin inferensi, dan sebagainya adalah fondasi inovasi AI yang dibangun di atas ekosistem open source
• DeepSeek akan terus berupaya melalui kolaborasi dengan komunitas agar manfaat AGI dapat berkontribusi bagi seluruh umat manusia

[!NOTE]
Artikel ini adalah panduan mengenai strategi open source untuk codebase DeepSeek Inference Engine.
Terkait pembukaan model di masa depan, DeepSeek berencana terus memperluas kolaborasi dengan komunitas open source dan mitra hardware.
Secara khusus, sebelum peluncuran model, mereka akan membagikan dan menyelaraskan lebih awal teknologi terkait inferensi agar ekosistem dapat diatur sehingga dukungan SOTA tersedia sejak Day-0 di berbagai lingkungan hardware.

[GN⁺]

Komentar Hacker News

• Pada bulan Maret, vLLM menerapkan perbaikan dari makalah DeepSeek sehingga performa DeepSeek di vLLM v0.7.3 meningkat lebih dari sekitar 3x

  • Masih ada banyak ruang untuk perbaikan
  • Melakukan benchmark dengan vLLM menggunakan dataset sharegpt menghasilkan 5K token/detik, dan dengan random 2000/100 menghasilkan 12K token/detik
  • Menurut ikhtisar sistem inferensi DeepSeek-V3/R1, setiap node H800 memberikan rata-rata input 73.7k token/detik saat prefilling (termasuk cache hit) atau output 14.8k token/detik saat decoding
  • DeepSeek menerapkan arsitektur inferensi yang berbeda, tetapi ini menunjukkan masih banyak ruang untuk perbaikan
  • Mengharapkan lebih banyak open source

• Setuju dengan titik percabangan codebase

  • Sulit untuk melakukan scale-up dengan melakukan kustomisasi berdasarkan fork awal vLLM agar sesuai dengan model DeepSeek
  • Pendekatan memisahkan sub-library yang dapat dipelihara dan berbagi informasi secara langsung adalah cara yang baik untuk berkolaborasi dengan komunitas
  • Ada hambatan, tetapi mereka tidak memilih jalan mudah dengan tidak berkontribusi
  • Mungkin lebih baik hanya membagikan informasi tentang teknologinya, tetapi ini tetap merupakan berbagi pengetahuan
  • Sepertinya akan lebih mudah bagi mereka untuk tidak melakukannya
  • Salut untuk mereka

• Motivasi perusahaan AI komersial dalam membagikan hasil riset dan know-how

  • Alasan Google membuka arsitektur Transformer
  • Mungkin mereka ingin melakukan hal yang baik bagi umat manusia dan mendorong kemajuan
  • Bertanya-tanya bagaimana eksekutif perusahaan bisa mengambil tindakan yang bertentangan dengan kepentingan komersial
  • Penasaran apakah ada logika komersial yang mendorong berbagi informasi dan kekayaan intelektual

• "Ada hal-hal menarik untuk komunitas open source, tetapi agar bisa dijalankan di luar perusahaan perlu banyak perapian, dan tidak ada tenaga untuk merawatnya dengan baik setelah rilis"

  • Banyak perusahaan berada di posisi ini
  • Berharap mereka tetap meng-open-source-kannya dengan catatan, "Kami tidak akan memelihara ini, tetapi silakan fork sesuka hati"

• Melihat pekerjaan engineering DeepSeek yang bagus

  • Berharap ini terus berlanjut

• Bertanya-tanya apakah ini adalah strategi Tiongkok untuk merilis secara massal alat AI open source, model, dan sebagainya guna merespons dominasi AS

  • Menganggap ini hal yang baik bagi pasar

• tl;dr "Fork vLLM sudah menjadi tidak dapat dipertahankan, dan sekarang akan dibangun ulang secara terbuka"

• Terasa seperti salah satu cara untuk mengimplementasikan sensor