Perjalanan DeepSeek Menuju Open Source untuk Mesin Inferensi

 (github.com/deepseek-ai)
8 poin oleh GN⁺ 2025-04-15 | 1 komentar | Bagikan ke WhatsApp
  • Tim DeepSeek mengumumkan rencana untuk mengembalikan mesin inferensi internal mereka (DeepSeek Inference Engine) ke open source
  • Mesin inferensi yang ada saat ini berbasis vLLM, dan pembagiannya sedang dipertimbangkan seiring meningkatnya permintaan deployment untuk model DeepSeek-V3 dan R1
  • Sulit untuk membuka seluruhnya karena kode lama, ketergantungan pada infrastruktur, dan beban pemeliharaan, sehingga arahnya dialihkan ke kontribusi modular dan per fitur
  • Ke depannya, mereka berencana bekerja sama erat dengan komunitas open source untuk membagikan optimasi performa dan fitur yang dapat digunakan ulang
  • DeepSeek akan secara aktif menyelaraskan optimasi inferensi dan dukungan Day-0 bersama komunitas saat merilis model

Perjalanan DeepSeek Menuju Open Source untuk Mesin Inferensi

Respons terhadap Open Source Week dan kontribusi lanjutan

  • Dalam Open Source Week yang baru-baru ini berlangsung, mereka merilis beberapa library sebagai open source
  • Di tengah respons positif dari komunitas, kolaborasi, diskusi, dan perbaikan bug berlangsung sangat aktif
  • Ini menjadi momentum untuk memutuskan membagikan mesin inferensi internal DeepSeek sebagai open source

Teknologi dasar

  • Framework pelatihan DeepSeek berbasis PyTorch
  • Mesin inferensinya dikembangkan dari fork awal proyek vLLM, dengan banyak kustomisasi yang dioptimalkan khusus untuk model DeepSeek

Kendala realistis dalam membuka seluruh proyek sebagai open source

  • Perbedaan codebase: dimulai dari fork vLLM lebih dari setahun yang lalu, sehingga meski strukturnya mirip, banyak bagian telah berubah signifikan
  • Ketergantungan pada infrastruktur internal: sangat terikat dengan infrastruktur DeepSeek sendiri, seperti alat manajemen cluster, sehingga sulit dimanfaatkan di luar
  • Keterbatasan sumber daya pemeliharaan: sebagai tim riset kecil, mereka tidak punya cukup kapasitas untuk terus mengelola proyek open source berskala besar

Alternatif: berkolaborasi dengan proyek open source yang sudah ada

Ke depan, kontribusi akan dilakukan dengan arah berikut:

  • Ekstraksi fitur modular: memisahkan komponen yang bisa digunakan ulang menjadi library independen untuk dikontribusikan
  • Berbagi optimasi performa: memasukkan peningkatan performa dan ide desain dari implementasi internal ke proyek open source yang ada

Apresiasi untuk komunitas dan visi ke depan

  • Tanpa keberadaan komunitas open source, kemajuan pengembangan AGI tidak akan mungkin terjadi
  • Sistem operasi, bahasa, framework ML, mesin inferensi, dan sebagainya adalah fondasi inovasi AI yang dibangun di atas ekosistem open source
  • DeepSeek akan terus berupaya melalui kolaborasi dengan komunitas agar manfaat AGI dapat berkontribusi bagi seluruh umat manusia

> [!NOTE]
> Artikel ini adalah panduan mengenai strategi open source untuk codebase DeepSeek Inference Engine.
> Terkait pembukaan model di masa depan, DeepSeek berencana terus memperluas kolaborasi dengan komunitas open source dan mitra hardware.
> Secara khusus, sebelum peluncuran model, mereka akan membagikan dan menyelaraskan lebih awal teknologi terkait inferensi agar ekosistem dapat diatur sehingga dukungan SOTA tersedia sejak Day-0 di berbagai lingkungan hardware.

Bacaan terkait

1 komentar

 
GN⁺ 2025-04-15
Komentar Hacker News

  • Pada bulan Maret, vLLM menerapkan perbaikan dari makalah DeepSeek sehingga performa DeepSeek di vLLM v0.7.3 meningkat lebih dari sekitar 3x

    • Masih ada banyak ruang untuk perbaikan
    • Melakukan benchmark dengan vLLM menggunakan dataset sharegpt menghasilkan 5K token/detik, dan dengan random 2000/100 menghasilkan 12K token/detik
    • Menurut ikhtisar sistem inferensi DeepSeek-V3/R1, setiap node H800 memberikan rata-rata input 73.7k token/detik saat prefilling (termasuk cache hit) atau output 14.8k token/detik saat decoding
    • DeepSeek menerapkan arsitektur inferensi yang berbeda, tetapi ini menunjukkan masih banyak ruang untuk perbaikan
    • Mengharapkan lebih banyak open source

  • Setuju dengan titik percabangan codebase

    • Sulit untuk melakukan scale-up dengan melakukan kustomisasi berdasarkan fork awal vLLM agar sesuai dengan model DeepSeek
    • Pendekatan memisahkan sub-library yang dapat dipelihara dan berbagi informasi secara langsung adalah cara yang baik untuk berkolaborasi dengan komunitas
    • Ada hambatan, tetapi mereka tidak memilih jalan mudah dengan tidak berkontribusi
    • Mungkin lebih baik hanya membagikan informasi tentang teknologinya, tetapi ini tetap merupakan berbagi pengetahuan
    • Sepertinya akan lebih mudah bagi mereka untuk tidak melakukannya
    • Salut untuk mereka

  • Motivasi perusahaan AI komersial dalam membagikan hasil riset dan know-how

    • Alasan Google membuka arsitektur Transformer
    • Mungkin mereka ingin melakukan hal yang baik bagi umat manusia dan mendorong kemajuan
    • Bertanya-tanya bagaimana eksekutif perusahaan bisa mengambil tindakan yang bertentangan dengan kepentingan komersial
    • Penasaran apakah ada logika komersial yang mendorong berbagi informasi dan kekayaan intelektual

  • "Ada hal-hal menarik untuk komunitas open source, tetapi agar bisa dijalankan di luar perusahaan perlu banyak perapian, dan tidak ada tenaga untuk merawatnya dengan baik setelah rilis"

    • Banyak perusahaan berada di posisi ini
    • Berharap mereka tetap meng-open-source-kannya dengan catatan, "Kami tidak akan memelihara ini, tetapi silakan fork sesuka hati"

  • Melihat pekerjaan engineering DeepSeek yang bagus

    • Berharap ini terus berlanjut

  • Bertanya-tanya apakah ini adalah strategi Tiongkok untuk merilis secara massal alat AI open source, model, dan sebagainya guna merespons dominasi AS

    • Menganggap ini hal yang baik bagi pasar

  • tl;dr "Fork vLLM sudah menjadi tidak dapat dipertahankan, dan sekarang akan dibangun ulang secara terbuka"

  • Terasa seperti salah satu cara untuk mengimplementasikan sensor