Petals - Menjalankan model bahasa 100B+ di rumah dengan gaya BitTorrent

• Menjalankan model bahasa superbesar seperti BLOOM-176B secara "kolaboratif"
  • Hubungkan GPU Anda ke Petals
  • Masing-masing memuat sebagian model, lalu bersama orang lain menjalankan inferensi dan fine-tuning
• Inferensi sekitar 1 detik per langkah (token), 10x lebih cepat daripada offloading, sehingga cukup untuk chatbot dan aplikasi interaktif lainnya
  • Inferensi paralel memungkinkan ratusan token per detik
• Sedang dikerjakan pengenalan insentif eksplisit (Bloom points) bagi penyedia waktu GPU

[won9497]

bagus!!

[won9497]

Eh, ini bukan tulisan itu...

[xguru]

Bahkan versi BLOOM-7B yang jauh lebih kecil pun, kalau dijalankan langsung secara lokal, katanya butuh sekitar 90 detik di Ryzen (16 core) + RAM 32 GB.
Kalau benar bisa berjalan sebagaimana yang diklaim, ini memang lumayan bagus sih.. tapi entah kenapa ada nuansa blockchain gitu..
(Menurut pengembangnya, mereka memang tidak menggunakan blockchain)