Fly.io, kini dilengkapi GPU

AI memang keren sekali

• Fly.io adalah layanan cloud publik baru yang memungkinkan penempatan daya komputasi lebih dekat ke pengguna.
• Kini AI workload dapat diproses di lingkungan edge computing dengan menggunakan GPU.
• Fly.io memungkinkan pengguna menjalankan aplikasi full-stack atau platform pengembangan berbasis Fly Machines API lebih dekat ke pengguna.

Contoh penggunaan nyata GPU Fly.io

• Anda dapat men-deploy kode Anda sendiri dan model pilihan Anda di atas backbone cloud Fly.io.
• Dengan GPU Fly.io, Anda dapat dengan mudah menjalankan aplikasi GPU yang menjalankan Ollama (teman-teman di bidang generasi teks) dalam dua langkah.
• Anda dapat menambahkan konfigurasi ke fly.toml lalu menjalankan perintah fly apps create sandwich_ai && fly deploy untuk men-deploy aplikasi.

Kecepatan cahaya punya batas

• Menjalankan GPU dengan cepat memang bagus, tetapi Fly.io benar-benar menunjukkan nilainya pada inferensi di edge.
• Salah satu contohnya adalah aplikasi yang memungkinkan pengguna memasukkan bahan-bahan yang ada di dapur lalu langsung mendapatkan resep sandwich.
• Fly.io memiliki GPU di data center di seluruh dunia dan memungkinkan program yang sama dijalankan di semua wilayah yang mendukung GPU.

Hanya saat benar-benar dibutuhkan

• GPU adalah perangkat pemrosesan paralel yang kuat, tetapi tidak murah.
• Anda dapat menambahkan bagian services ke file fly.toml untuk menentukan cara aplikasi melakukan scale up dan scale down.
• Anda dapat mengaturnya agar tidak perlu membayar biaya GPU saat pengguna tidak meminta resep sandwich.

Detail

• Menyediakan GPU yang tersedia di beberapa wilayah di Amerika Serikat, Eropa, dan Sydney.
• Menawarkan berbagai opsi GPU dan harga, dan secara default setiap deployment menggunakan delapan inti CPU AMD EPYC.
• Volume dapat dihubungkan hingga 500GB, serta tersedia diskon untuk reserved instance dan dedicated host.

Pendapat GN⁺:

• Fly.io menyediakan layanan cloud inovatif yang dapat memproses AI workload di lingkungan edge computing, dengan fokus pada peningkatan pengalaman pengguna.
• Layanan berbasis GPU ini menawarkan solusi yang mempertimbangkan baik kecepatan inferensi maupun efisiensi biaya, dan sangat cocok untuk aplikasi yang membutuhkan daya komputasi tinggi secara real-time.
• Layanan ini meningkatkan aksesibilitas teknologi AI dan dapat membantu pengembang membuat aplikasi baru yang inovatif, sehingga merupakan perkembangan yang sangat menarik dan bermanfaat.

[GN⁺]

Opini Hacker News

• Seorang pengguna menyatakan kekecewaan terhadap fungsi dasar Fly. Ia menyoroti bahwa tim dukungan tidak dapat mengidentifikasi masalah pada platform internal, serta pesan error yang ambigu atau bahkan tidak ada. Menurutnya, Fly mungkin menarik bagi orang yang menggunakan Fly karena takut atau tidak memahami Kubernetes, tetapi dirinya justru jadi merindukan Kubernetes.
• Seorang developer relations dari Fly.io memperkenalkan bahwa GPU kini telah dibuka untuk pengguna umum, sehingga pengguna bisa bereksperimen dengan GPU. Ia juga membagikan tautan ke posting blog tentang GPU dan mendorong orang untuk bertanya jika ada pertanyaan.
• Pengguna lain menyebut bahwa Fly menjalankan VM menggunakan Firecracker, dan menyoroti bahwa Firecracker pada dasarnya tidak mendukung GPU. Ia penasaran bagaimana Fly mengimplementasikan dukungan GPU dan berharap ada tulisan teknis tentang hal itu.
• Seorang pengguna memuji fitur scale-to-zero milik Fly, dengan menyebut bahwa fitur ini dapat menghemat biaya server saat menjalankan situs eksperimental yang hampir tidak memiliki pengguna. Ia ingin melihat contoh tentang waktu penagihan per request.
• Ada pengguna yang menyayangkan tidak adanya layanan pengganti S3 di Fly. Ia mengajukan proyek GNU Affero sebagai alternatif, tetapi merasa itu tidak cocok untuk bisnis. Ia menyukai kesederhanaan Fly, value for money-nya, dan VPN bawaannya, tetapi fakta bahwa ia harus meninggalkan Fly untuk menyimpan aset pengguna menjadi alasan utama yang menghalanginya memakai Fly di proyek berikutnya.
• Ada pengguna yang penasaran apa target pasar Fly. Ia mempertanyakan apakah sasarannya adalah aplikasi kecil atau yang belum tervalidasi yang perlu menjalankan model AI tetapi tidak memakai layanan hosting, atau apakah ada tujuan lain.
• Ada pengguna yang menanyakan pengalaman soal performa Fly, dan kesan pertamanya adalah mahal. Sebagai contoh, ia membandingkannya dengan mesin CPU dari Hetzner.
• Ada pengguna yang bertanya apakah ada yang punya pengalaman membandingkan layanan Beam.Cloud dengan Fly.
• Ada pengguna yang menyinggung seberapa cepat proses scale-to-zero, dan mengatakan bahwa jika cepat, itu akan sangat menarik.
• Ada pengguna yang penasaran apakah Fly bisa menjalankan file cog yang digunakan oleh replicate, dan apakah Fly bisa menjalankan model yang sudah dipaketkan sebelumnya dengan prediction API yang sama. Ia merasa replicate mungkin membuat orang ragu, tetapi jika Fly mengadopsinya, pengalamannya akan menjadi lebih mulus.