Perombakan vLLM Recipes - konfigurasi per kombinasi model+hardware dengan sekali klik
(recipes.vllm.ai)recipes.vllm.ai telah dirombak besar-besaran. Dengan vLLM, kini Anda bisa mendapatkan jawaban secara interaktif untuk pertanyaan seperti "bagaimana menjalankan model X di hardware Y?"
Perubahan utama
URL mirror HuggingFace — ganti huggingface.co menjadi recipes.vllm.ai untuk langsung masuk ke resep model tersebut (contoh: recipes.vllm.ai/Qwen/Qwen3.6-35B-A3B)
Interactive command builder — pilih hardware, variant, dan strategi paralelisasi untuk membuat perintah vllm serve yang siap dipakai
Hardware yang dapat dipasang — beralih satu klik antara NVIDIA(Hopper/Blackwell)↔AMD(MI300X/MI355X), dengan flag dan variabel lingkungan diterapkan otomatis
JSON API — semua resep disediakan lewat jalur /.json sehingga bisa langsung dikonsumsi oleh agen dan alat otomasi
Berkontribusi pada resep dengan agent skill
Repositori ini menyertakan agent skill, sehingga Anda dapat berkontribusi resep baru secara end-to-end. Mulai dari menjalankan benchmark hingga membuat resep dan mengirim PR, agen akan memandu prosesnya.
→ github.com/vllm-project/recipes
Belum ada komentar.