GPU-Usage-Audit: Bagaimana jika GPU tidak benar-benar menganggur, melainkan 'ditahan' saat menganggur?!

Saat nvidia-smi menunjukkan util 1%, kartu tampak seperti kosong,
tetapi jika seseorang menaikkan 8GB di Jupyter Notebook lalu pergi, GPU itu tidak bisa dipakai siapa pun.
Di server bersama atau GPU dengan penagihan per jam, ini adalah pemborosan yang tidak terlihat.

Karena itu kami membuat GPU-Usage-Audit!

Jika hanya driver NVIDIA yang terpasang, metrik GPU akan dicatat ke SQLite dan nanti bisa dikeluarkan sebagai laporan.

Laporan membagi waktu penggunaan GPU bukan menjadi dua, melainkan tiga.
Yaitu waktu benar-benar melakukan komputasi, waktu benar-benar kosong, dan waktu 'idle-held' saat memorinya ditahan tetapi tidak ada komputasi.

Sebagian besar alat menggabungkan dua kategori terakhir menjadi satu, padahal di situlah pemborosan bersembunyi.
Waktu yang ditahan dikonversi ke GPU-hours, dan jika dijalankan per pengguna, juga ditunjukkan siapa yang menempati berapa banyak.

Instalasi dan menjalankannya cukup satu baris: uv tool install gpu-usage-audit && gua daemon

Setelah data terkumpul, cukup jalankan gua report untuk melihat laporan,
dan jika ingin melihat hasil dulu tanpa data, Anda bisa menjalankan data palsu dengan gua demo.