9 poin oleh darjeeling 5 jam lalu | Belum ada komentar. | Bagikan ke WhatsApp

recipes.vllm.ai telah dirombak besar-besaran. Dengan vLLM, kini Anda bisa mendapatkan jawaban secara interaktif untuk pertanyaan seperti "bagaimana menjalankan model X di hardware Y?"

Perubahan utama

URL mirror HuggingFace — ganti huggingface.co menjadi recipes.vllm.ai untuk langsung masuk ke resep model tersebut (contoh: recipes.vllm.ai/Qwen/Qwen3.6-35B-A3B)

Interactive command builder — pilih hardware, variant, dan strategi paralelisasi untuk membuat perintah vllm serve yang siap dipakai

Hardware yang dapat dipasang — beralih satu klik antara NVIDIA(Hopper/Blackwell)↔AMD(MI300X/MI355X), dengan flag dan variabel lingkungan diterapkan otomatis

JSON API — semua resep disediakan lewat jalur /.json sehingga bisa langsung dikonsumsi oleh agen dan alat otomasi

Berkontribusi pada resep dengan agent skill

Repositori ini menyertakan agent skill, sehingga Anda dapat berkontribusi resep baru secara end-to-end. Mulai dari menjalankan benchmark hingga membuat resep dan mengirim PR, agen akan memandu prosesnya.

→ github.com/vllm-project/recipes

Belum ada komentar.

Belum ada komentar.