- San Francisco Compute adalah kelompok yang mengumpulkan startup dan lembaga riset untuk membeli dan berbagi sumber daya komputasi secara bersama guna pelatihan model skala besar.
- Alih-alih setiap startup membeli klaster GPU sendiri, kelompok ini membeli klaster dengan total jumlah GPU yang sebanding dengan jumlah startup.
- Berdasarkan kepemilikan, penjadwal pekerjaan mengalokasikan sumber daya komputasi secara adil kepada semua startup.
- Dengan ini, startup dapat menggunakan 512 GPU selama satu minggu untuk mempercepat pelatihan model, sambil menghindari kerepotan harus terus mengisi 128 GPU selama satu bulan penuh.
- Jika ada sumber daya komputasi yang menganggur, penjadwal dapat mengalokasikan lebih banyak sumber daya kepada startup daripada jatah adil mereka.
- Model ini mirip dengan yang digunakan di lembaga riset besar seperti OpenAI dan Deepmind, tetapi umumnya lebih mudah diakses oleh startup yang memiliki klaster lebih kecil dan kontrak jangka panjang.
- Tujuannya adalah menyediakan sumber daya komputasi sekitar $2.00 per GPU H100 dengan alokasi burst dan kontrak jangka pendek.
- Startup dapat bergabung dengan kelompok ini dengan mengisi formulir atau menghubungi penyelenggara.
- Startup dapat keluar dari klaster setelah melalui periode pemberitahuan sebelumnya, dan startup baru dapat ditambahkan secara bertahap.
- Kelompok ini dapat melakukan sedikit kelebihan pasokan untuk mengakomodasi eksperimen kecil atau permintaan dari teman dengan harga yang baik.
- Pembiayaan pembelian klaster dapat didistribusikan dengan bantuan bank.
- Kelompok ini berencana menyiapkan 512 GPU H100 online dalam 4-6 minggu, dan dapat menambahkan lebih banyak sumber daya jika permintaan tinggi.
- Mailing list debugging infrastruktur dan grup Slack disediakan sebagai ruang bagi anggota untuk meminta bantuan terkait masalah infrastruktur.
1 komentar
Komentar Hacker News