gpudeploy - Airbnb untuk GPU

Pasar GPU

• GPU Deploy menyediakan layanan GPU on-demand yang murah untuk pembelajaran mesin dan AI
• Instans ini sudah siap digunakan untuk pekerjaan machine learning sehingga Anda bisa langsung memulai instance GPU

Spesifikasi dan Harga GPU yang Tersedia

• Mendukung berbagai model GPU seperti Nvidia H100, A100, GeForce RTX 4090/3060, Quadro RTX 6000, dan lain-lain
• GPU RAM tersedia dari 11GB hingga 640GB
• Jumlah core CUDA bervariasi dari 3.584 hingga 116736
• vCPU dapat dipilih mulai 16 hingga 242
• Harga per jam bervariasi dari $0.06 hingga $26.55 (belum termasuk pajak penjualan; harga sebenarnya biasanya lebih murah)

Usulan Pemanfaatan GPU Menganggur

• Jika Anda memiliki GPU menganggur, Anda dapat menyediakan sumber daya komputasi melalui GPU Deploy
  • Jika Anda operator cluster GPU, Anda dapat menyewakan sumber daya komputasi yang menganggur
  • Jika Anda perusahaan AI, Anda juga dapat menyewakan sumber daya komputasi yang menganggur
  • Jika Anda memiliki GPU sendiri secara pribadi, Anda tetap bisa berpartisipasi

Pendapat GN⁺

• Biaya penggunaan GPU on-demand sangat mahal, sehingga layanan ini menarik karena memungkinkan Anda menggunakan GPU saat diperlukan dengan biaya lebih rendah
• Namun untuk penggunaan jangka panjang, membangun server GPU sendiri bisa jadi jauh lebih ekonomis
• Ini bisa menjadi pilihan yang cukup bagus agar individu atau usaha kecil dan menengah dapat memanfaatkan sumber daya GPU
• Dari sisi perusahaan, ini layak dipertimbangkan dengan mengevaluasi biaya pembangunan dan operasi server GPU, serta aspek jangka pendek dan panjang
• Layanan penyedia GPU serupa juga termasuk AWS, GCP, dan MS Azure; perlu dibandingkan secara cermat spesifikasi GPU dan kebijakan harga yang ditawarkan masing-masing layanan
• Pemanfaatan GPU menganggur adalah usulan menarik, tetapi bisa menimbulkan kekhawatiran terkait keamanan atau manajemen sumber daya

[GN⁺]

Komentar Hacker News

• Hal-hal yang perlu dipertimbangkan saat memberikan sumber daya GPU ke pihak ketiga:
  • Masalah privasi — penyerang bisa memasang honeypot GPU dan mengumpulkan data.
  • Komputasi GPU palsu — penyerang bisa menggunakan GPU palsu untuk mengurangi beban komputasi dan mengirim data dummy.
  • GPU yang cacat — meski tidak berniat jahat, GPU yang rusak bisa menghasilkan output yang salah.
• Mereka meminta persetujuan terhadap ketentuan layanan dan kebijakan privasi, namun menariknya tautannya mengarah ke halaman yang kosong.
• Konsepnya sendiri bagus. Ini mirip konsep "Airbnb untuk GPU" seperti Vast.ai; saya penasaran apa yang membuat layanan ini berbeda dan lebih baik.
• Mungkin istilah “penyediaan GPU berbasis pesanan” lebih mudah dipahami daripada “Airbnb untuk GPU”.
• Ide yang bagus, semoga sukses! Proyek kripto Akash Network tampak menarik karena ada permintaan dan kasus penggunaan yang legal.
• Aku tidak terlalu memahami klaim tentang Stability AI yang over-provisioning hardware; sepertinya semua orang sedang keblinger oleh hype AI.
• Ide keren! Bagaimana jaminan keamanannya untuk penyedia? Saat menyewakan klaster GPU, hak akses apa yang harus diberikan ke penyewa? Apakah hanya kernel GPU yang dikirim, atau juga akses pengguna yang dibatasi? Pernahkah dipertimbangkan untuk menambahkan ini ke jaringan pribadi agar pengalaman tetap lancar tanpa operator perlu membuka port router?
• Kalau ingin cek harga, lihat GPUMonger.com. Layanan ini terlihat jauh lebih matang dan memang lebih komprehensif, tetapi jika hanya mau membandingkan harga, GPUMonger mungkin pilihan terbaik.
• Seakan-akan perusahaan-perusahaan ini mulai bermunculan sebagai solusi perangkat lunak atas permasalahan perangkat keras. Karena sebagian besar daya komputasi yang tersedia terlihat sudah teralokasi, perlu menambah lebih banyak penyedia. Aku bertanya-tanya kenapa Y Combinator berinvestasi ganda pada perusahaan serupa. Shadeform.ai juga contohnya.
• Beberapa opini:
  • Dari source skrip instalasi terlihat tidak dimulai dengan set -e, jadi instalasi yang tidak lengkap bisa terjadi.
  • Mereka memasang biner bernama "instance-server" dan aku tidak tahu ini berfungsi untuk apa. Apakah itu dapat dipercaya pada server/jaringanku?
  • Karena ini berbasis Nvidia, kemungkinan GPU AMD belum didukung untuk saat ini.
  • Rasa seperti MVP. Kita lihat saja bagaimana ini akan berkembang dari waktu ke waktu.
• Jika RTX 4090 sedang menganggur, berapa kira-kira penghasilannya?