Ollama kini mendukung kartu grafis AMD

• Ollama mulai mendukung kartu grafis AMD pada versi pratinjau di Windows dan Linux
• Semua fitur Ollama kini dapat dipercepat dengan kartu grafis AMD di Linux dan Windows

Kartu grafis yang didukung

• Seri AMD Radeon RX: 7900 XTX, 7900 XT, 7900, 7800 XT, 7700 XT, 7600 XT, 7600, 6950 XT, 6900 XTX, 6900XT, 6800 XT, 6800, Vega 64, Vega 56
• Seri AMD Radeon PRO: W7900, W7800, W7700, W7600, W7500, W6900X, W6800X Duo, W6800X, W6800, V620, V420, V340, V320, Vega II Duo, Vega II, VII SSG
• Seri AMD Instinct: MI300X, MI300A, MI300, MI250X, MI250, MI210, MI200, MI100, MI60, MI50
• Dukungan untuk lebih banyak kartu grafis AMD akan segera hadir.

[GN⁺]

Komentar Hacker News

• Kurangnya pengakuan atas kontribusi llama.cpp

  • Terlihat jelas bahwa llama.cpp tidak menerima pengakuan atau ucapan terima kasih secara langsung untuk alat-alat yang dibangun di atas teknologi yang disediakannya.
  • Perangkat lunak lain untuk "menjalankan secara lokal" mendapat kredit yang layak, dan meskipun Ollama tampaknya tidak bermasalah dari sisi lisensi MIT, tidak ada ucapan terima kasih di repositori, blog, maupun situs web Ollama.

• Pendapat tentang posting blog terkait dukungan AMD di Ollama

  • Posting blog itu terasa menarik. Saya sudah menjalankan Ollama di AMD RX 6650 selama beberapa minggu.
  • Mereka sudah menyediakan container ROCm sejak 21 hari lalu, dan tampaknya dipublikasikan bersama rilis terbaru 0.1.29. Saya penasaran apa yang benar-benar berubah dalam rilis ini terkait dukungan AMD.
  • Ada issue yang membahas proses menjalankan Ollama di kartu AMD yang belum didukung secara resmi. Intinya hanya perlu mengatur environment variable.
  • Saya menemukan perubahan bahwa model starcoder2 sekarang berfungsi. Sebelumnya sempat crash.

• Keraguan terhadap perhatian berlebihan pada Ollama

  • Saya tidak begitu yakin mengapa Ollama mendapat begitu banyak perhatian. Nilainya terbatas karena hanya mendukung satu model pada satu waktu dan pada dasarnya hanya dipakai untuk eksperimen.
  • Memang sangat memudahkan proses eksperimen, tetapi mengingat Ollama sepenuhnya bergantung pada llama.cpp dan nilai utama yang ditawarkannya adalah kemudahan pengelolaan model, menurut saya nilainya dinilai terlalu tinggi dibanding perhatian dan pujian yang diterimanya.
  • Setelah eksperimen awal, pada akhirnya model harus dideploy ke lingkungan produksi. Ini bukan soal memberi kredit pada llama.cpp, melainkan menunjukkan bahwa produk ini mendapat perhatian yang berlebihan dibanding nilai yang benar-benar diberikannya.

• Ucapan terima kasih atas dukungan untuk RX 6800/6800 XT / 6900 XT

  • Senang akhirnya bisa memakai kartu yang dulu saya beli dengan harga sangat mahal karena kelangkaan pasca-COVID untuk pekerjaan ML.
  • Terima kasih kepada proyek Ollama dan llama.cpp.

• Pesan peringatan terkait AMD saat menjalankan Ollama

  • fooocus berjalan, tetapi saat menjalankan Ollama muncul pesan peringatan terkait driver AMD Linux.
  • Karena tidak ada library ROCm, akhirnya memakai CPU.
  • Saya perlu mencari tahu cara memasang ulang ROCm di Arch Linux.

• Respons positif terhadap menurunnya dominasi CUDA

  • Semakin banyak proyek seperti ini, CUDA akan semakin kurang penting, dan daya saing Nvidia akan berkurang.

• Perangkat lunak LLM lokal mendorong pembelian hardware baru

  • Kartu lama seperti RX 570/580 tidak didukung, dan meskipun hardware baru jauh lebih kuat, saya merasa seharusnya tidak perlu kartu terbaru karena CUDA dirilis pada 2007 dan ROCm pada 2016.

• Pengalaman penggunaan Ollama yang mudah

  • Saya belum pernah mencoba menjalankan model lokal sebelumnya, tetapi di Ubuntu 22 dengan kartu 7600 langsung berjalan, jadi ini sangat bagus.

• Rasa penasaran tentang pemanfaatan OpenCL

  • OpenCL jarang dipakai dibanding Cuda, jadi saya penasaran bagaimana mereka berhasil mengimplementasikannya.
  • Saya sudah membayar cukup mahal untuk kartu 4090, tetapi tetap berharap ada pilihan lain.

• Harga kartu NVidia dan upaya meningkatkan dukungan AMD

  • Ini menunjukkan bahwa banyak upaya dilakukan untuk meningkatkan dukungan AMD di tengah situasi harga kartu NVidia kelas atas yang sangat mahal dan sulit didapat.