LibreCuda - Menjalankan kode CUDA di GPU Nvidia tanpa runtime proprietari

 (github.com/mikex86)
9 poin oleh GN⁺ 2024-08-09 | 1 komentar | Bagikan ke WhatsApp
  • Proyek yang bertujuan menggantikan CUDA Driver API agar kode CUDA dapat dijalankan di GPU Nvidia tanpa bergantung pada runtime CUDA proprietari
  • Berkomunikasi langsung dengan perangkat keras melalui ioctl (khususnya yang disebut rmapi dalam modul kernel GPU terbuka Nvidia) dan QMD, struktur antrean perintah MMIO milik Nvidia
  • Dapat mengunggah biner CUDA ELF ke GPU dan menjalankannya melalui antrean perintah
  • Fitur saat ini
    • Alokasi dan pembebasan memori GPU serta pemetaan memori agar dapat diakses CPU
    • Dapat mengunggah biner CUDA ELF ke GPU
    • Menjalankan kernel CUDA melalui antrean perintah
  • Lisensi MIT

Ringkasan GN⁺

  • LibreCUDA adalah proyek yang memungkinkan kode CUDA dijalankan di GPU Nvidia tanpa runtime CUDA proprietari
  • Saat ini baru fitur-fitur dasar yang diimplementasikan dan belum siap untuk penggunaan nyata
  • Proyek serupa dengan fungsi yang mirip adalah ROCm, yang menyediakan kemampuan serupa CUDA di GPU AMD

Bacaan terkait

1 komentar

 
GN⁺ 2024-08-09
Komentar Hacker News

  • Tujuan CUDA terbuka adalah agar bisa berjalan juga di GPU selain GPU NVIDIA

    • Jika tetap harus membeli GPU NVIDIA, maka tidak ada gunanya
    • Jika ada persaingan yang nyata, seharusnya akan lebih mudah membeli perangkat dengan VRAM lebih besar
    • Suatu hari nanti mungkin kita bisa menjalankan Llama 405b secara lokal

  • Pengalaman saya dengan CUDA terbatas, tetapi saya penasaran apakah ini akan membantu menyelesaikan masalah versi dependensi CUDA/CUDNN yang muncul saat menjalankan berbagai library ML (mis. TensorFlow, ONNX)

  • Sangat bagus

    • Ini adalah semua yang saya inginkan dari runtime CUDA
    • Seharusnya bisa menjalankan unit test LLVM libc
    • Ini bisa membenarkan library AMD yang menggunakan pendekatan direct system call yang sama

  • Untuk proyek yang bergantung pada CUDA, berpindah dari LibreCUDA ke HiP agar mendapatkan kebebasan platform seharusnya menjadi langkah pertama

  • Saya penasaran apa yang dimaksud dengan file CUDA ELF

    • Saya bertanya-tanya apakah itu kode SASS biner, dan apakah dibutuhkan alternatif PTXAS open source

  • Sebagai pemula CUDA, saya penasaran masalah apa yang diselesaikan oleh ini

  • Sepertinya mereka melewatkan kesempatan untuk menamainya CUDA Libre

  • Saya penasaran apakah tetap harus menjalankan driver grafis NVIDIA yang proprietari, atau ini sepenuhnya tidak terkait

  • Para penulis sebaiknya mulai memikirkan soal pemberitahuan pelanggaran merek dagang

  • Setelah ZLUDA dihentikan atas permintaan AMD, pengganti ZLUDA dibutuhkan sebagai cara umum untuk memutus ketergantungan CUDA

    • Yang dibutuhkan adalah sesuatu yang tidak terikat pada hardware NVIDIA