Darkbloom – Jaringan inferensi AI pribadi yang memanfaatkan Mac menganggur

• Darkbloom adalah jaringan inferensi AI terdistribusi yang menghubungkan Apple Silicon Mac yang sedang menganggur untuk menjalankan komputasi AI di perangkat pribadi tanpa cloud terpusat
• Menghapus struktur margin tiga lapis antara penyedia GPU, cloud, dan API untuk mencapai penghematan biaya hingga 70%
• Semua permintaan dienkripsi dengan end-to-end encryption, sehingga operator tidak dapat melihat data pengguna, dan kepercayaan dibangun melalui rantai attestation berbasis hardware keamanan Apple
• Menyediakan API kompatibel OpenAI yang mendukung fungsi yang sama seperti SDK yang ada, termasuk chat, pembuatan gambar, dan pengenalan suara
• Operator mempertahankan 95~100% pendapatan dan dapat memperoleh pendapatan USD dari Mac menganggur tanpa biaya tambahan selain listrik

---

Jaringan inferensi AI pribadi dengan Mac menganggur

• Darkbloom adalah jaringan inferensi AI terdistribusi yang dikembangkan oleh Eigen Labs, yang menghubungkan Apple Silicon Mac yang sedang menganggur untuk menjalankan komputasi AI
• Saat ini, komputasi AI melewati struktur margin tiga tahap dari produsen GPU → hyperscaler → penyedia API → pengguna akhir, dan Darkbloom menghapus ini untuk mewujudkan penghematan biaya hingga 70%
• Operator jaringan tidak dapat melihat data pengguna, dan semua permintaan diproses dengan end-to-end encryption
• API-nya kompatibel dengan OpenAI, mendukung chat, pembuatan gambar, dan pengenalan suara dengan cara yang sama seperti SDK yang ada
• Operator mempertahankan 95~100% pendapatan, dengan hampir tidak ada biaya tambahan selain listrik

Fitur untuk pengguna

• Karena biaya marjinal dari hardware menganggur hampir nol, penghematan biaya langsung tercermin pada harga pengguna
• Menyediakan chat, pembuatan gambar, dan fungsi speech-to-text melalui API kompatibel OpenAI
• Semua permintaan dikirim dengan end-to-end encryption

Fitur untuk pemilik hardware

• Pengguna yang memiliki Apple Silicon Mac dapat menjalankan inferensi AI saat perangkat menganggur untuk memperoleh pendapatan USD
• Operator mempertahankan 100% pendapatan inferensi, dengan biaya listrik sekitar $0.01~$0.03 per jam
• Sisa pendapatan menjadi laba bersih

Masalah struktural di pasar komputasi AI

• Saat ini pasar komputasi AI memiliki struktur margin tiga lapis: produsen GPU → penyedia cloud → perusahaan AI → pengguna akhir
• Akibatnya, pengguna akhir membayar lebih dari 3 kali biaya silikon yang sebenarnya
• Sementara itu, lebih dari 100 juta perangkat Apple Silicon rata-rata menganggur lebih dari 18 jam per hari
• Jika sumber daya komputasi menganggur ini dihubungkan, pemanfaatan aset terdistribusi seperti Airbnb atau Uber menjadi mungkin
• Darkbloom mengubah Mac menganggur ini menjadi node inferensi AI untuk menggantikan infrastruktur terpusat

Masalah kepercayaan dan tantangan penyelesaiannya

• Masalah inti dalam jaringan komputasi terdistribusi adalah keandalan
• Pengguna harus memproses data mereka di perangkat milik pihak ketiga yang tidak mereka kenal, sehingga keamanan tingkat syarat layanan saja tidak cukup
• Tanpa Verifiable Privacy, inferensi terdistribusi tidak mungkin dilakukan

Pendekatan teknis Darkbloom

• Menghilangkan jalur akses

  • Menghapus semua jalur software yang memungkinkan operator mengakses data
  • Terdiri dari empat lapisan independen yang masing-masing dapat diverifikasi

• Lapisan enkripsi

  • Permintaan dienkripsi di perangkat pengguna sebelum dikirim
  • Coordinator hanya merutekan ciphertext, dan hanya kunci hardware node tujuan yang dapat mendekripsinya

• Lapisan hardware

  • Setiap node memiliki kunci yang dibuat di dalam hardware keamanan Apple
  • Dapat diverifikasi melalui rantai attestation yang berasal dari Apple Root CA

• Lapisan runtime

  • Proses inferensi dikunci pada tingkat OS
  • Mencegah koneksi debugger dan inspeksi memori
  • Operator tidak dapat mengekstrak data dari proses yang sedang berjalan

• Lapisan output

  • Semua respons dapat diverifikasi melalui tanda tangan hardware terkait
  • Seluruh rantai attestation dipublikasikan sehingga siapa pun dapat memverifikasinya secara independen

• Hasil akhirnya: operator menjalankan inferensi tetapi tidak dapat melihat data

  • Prompt dienkripsi sebelum dikirim
  • Coordinator merutekan tanpa dapat membaca isinya
  • Provider mendekripsi dan mengeksekusi dalam lingkungan terisolasi yang terverifikasi
  • Rantai attestation dipublikasikan untuk menjamin transparansi

Detail implementasi

• API kompatibel OpenAI

  • Sepenuhnya kompatibel dengan OpenAI SDK yang ada
  • Dapat digunakan dengan kode yang sama hanya dengan mengubah Base URL
  • Mendukung Streaming, Function Calling, Image Generation, dan Speech-to-Text
  • Fitur yang didukung
  • Streaming: berbasis SSE, format OpenAI
  • Image Generation: FLUX.2 on Metal
  • Speech-to-Text: Cohere Transcribe
  • Large MoE: mendukung model hingga 239B parameter

Hasil perbandingan biaya

• Karena biaya marjinal hardware menganggur hampir nol, terjadi efek penurunan harga
• Tidak ada biaya langganan atau batas minimum penggunaan
• Sekitar 50% lebih murah dibanding OpenRouter

Model	Input	Output	OpenRouter	Penghematan
Gemma 4 26B4B	$0.03	$0.20	$0.40	50%
Qwen3.5 27B	$0.10	$0.78	$1.56	50%
Qwen3.5 122B MoE	$0.13	$1.04	$2.08	50%
MiniMax M2.5 239B	$0.06	$0.50	$1.00	50%

• Pembuatan gambar: $0.0015/gambar (50% lebih murah dibanding Together.ai)
• Pengenalan suara: $0.001/menit (50% lebih murah dibanding AssemblyAI)
• Biaya platform 0%, operator mempertahankan 100% pendapatan

Ekonomi operator

• Dengan menyediakan perangkat Apple Silicon, pengguna dapat memperoleh pendapatan USD
• Tidak ada biaya tambahan selain listrik, dan 100% pendapatan tetap dimiliki operator
• Mendukung metode instalasi CLI, dan aplikasi menu bar macOS sedang dikembangkan

• Metode instalasi

  • Mengunduh provider binary melalui perintah terminal dan mendaftarkan layanan launchd

  • Tanpa dependensi**,** pembaruan otomatis**,** berjalan di latar belakang

    • macOS 14 atau lebih baru, khusus Apple Silicon

• Perkiraan pendapatan

  • Pendapatan dapat diperkirakan dengan asumsi berjalan 18 jam per hari
  • Pendapatan aktual akan bervariasi tergantung permintaan jaringan dan popularitas model

Riset dan katalog model

• Makalah riset menjelaskan secara rinci arsitektur, threat model, analisis keamanan, dan model ekonomi
• Membahas arsitektur inferensi pribadi berbasis verifikasi hardware
• Tautan unduh PDF tersedia

• Model yang tersedia

  • Gemma 4 26B: MoE multimodal terbaru dari Google, 4B active parameters
  • Qwen3.5 27B: model penalaran berkualitas tinggi (Claude Opus distillation)
  • Qwen3.5 122B MoE: 10B active parameters, kualitas terbaik per token
  • MiniMax M2.5 239B: model coding SOTA, 100 tok/s di Mac Studio
  • Cohere Transcribe: 2B conformer, speech-to-text kelas atas

[shw00]

Secara konsep ini memang menarik, tetapi saya tetap ragu apakah akan benar-benar berjalan dengan baik dalam praktik. Seperti juga muncul dalam pendapat di HN, pasar dua sisi (two-sided market) harus berhasil mendapatkan pelanggan awal di kedua sisi, jadi itu masalah besar.

[GN⁺]

Komentar Hacker News

• Saya merasa perhitungan pendapatan mereka sulit dipercaya
  Jika satu Mac Mini bisa balik modal dalam 2~4 bulan lalu menghasilkan $1~2 ribu per bulan setelahnya, jadi bertanya-tanya kenapa mereka tidak просто membeli dan menjalankan Mac Mini sendiri

  • Perhitungannya sendiri didasarkan pada asumsi yang optimistis. Karena diasumsikan selalu ada permintaan untuk semua mesin
    Saat ini belum begitu, tetapi mereka berharap suatu saat akan begitu. Jadi membeli perangkat baru tidak direkomendasikan. Jika dijalankan dengan perangkat yang sudah ada, biayanya hampir nol
    Biaya listrik hanya muncul saat ada request masuk, dan akan terkompensasi setiap kali itu terjadi
    Kalau ada pertanyaan, bisa kirim DM ke @gajesh
  • Jika mulai membeli Mac Mini sendiri, pada akhirnya akan membangun pusat data kecil karena masalah daya, pendinginan, dan penyimpanan
    Karena ekonomi skala bekerja, lama-lama akan ingin pusat yang lebih besar, tetapi ini mahal dan para tetangga juga tidak suka
    Pada akhirnya ini terlihat seperti perang asimetris melawan hyperscaler
  • Tidak ada penyedia GPU yang mempertahankan utilisasi 100%. Permintaan naik-turun
    Misalnya sibuk saat jam pasar saham, tetapi di luar itu sepi
    Jika tidak overprovisioning pelanggan akan pergi, jika berlebihan maka profit turun
    Secara realistis sepertinya akan berada di tingkat utilisasi 1/8. Jika saya hitung dengan M4 Pro Mini saya, untuk model Gemma 4 tampaknya sekitar $24 per bulan
  • Kuncinya adalah kurangnya modal awal. Kebanyakan orang sudah punya komputer yang menganggur, dan yang perlu dilakukan hanya meyakinkan mereka untuk memasang software
    Membeli dan merawat hardware sendiri jauh lebih mahal. Investasi awal adalah hambatan masuk terbesar
  • Ada banyak Mac yang menganggur di dunia, jadi mengumpulkan basis pengguna itu mudah
    Bisa dimulai tanpa pendanaan VC, dan diferensiasinya juga jelas
    Namun seseorang bisa saja membuat hal yang sama dengan komisi lebih tinggi, jadi penting untuk merebut pasar lebih dulu

• Saya sudah coba memasangnya sendiri, dan tingkat kematangannya belum tinggi
  Ada banyak error seperti gagal mengunduh model gambar, gagal memuat model audio/TTS, dan lainnya
  Saya melayani Gemma selama 15 menit tetapi jumlah request inferensi nyata adalah 0, hanya ada beberapa health check
  Saat ini permintaannya kurang, jadi prediksi pendapatannya tidak akurat

  • Baru sehari sejak dirilis, jadi wajar kalau belum ada permintaan. Perlu sedikit waktu
  • Saya penasaran apakah ada orang di sisi sebaliknya yang benar-benar menguji dengan mengirim prompt dan menerima respons
  • Jika melihat halaman statistik, penyedia banyak tetapi permintaan nyata hampir tidak ada
    Sepertinya sekarang mereka fokus mengamankan penyedia, dan mendapatkan pelanggan berbayar menjadi hal yang mendesak
  • Saya kira setidaknya di awal mereka akan menghasilkan request sendiri untuk memberi motivasi hosting, tetapi fitur seperti itu tidak ada
  • Saya juga melihat error yang sama, dan di log ada peringatan “STT backend health check failed”. Bahkan jika ada permintaan nyata, ini bisa jadi penyebabnya

• Untuk memakai layanan ini, harus memasang MDM (software manajemen perangkat)
  Praktis sejak saat itu komputer tersebut berada di bawah kendali mereka
  Saya sama sekali tidak merekomendasikannya untuk komputer yang dipakai melakukan hal sensitif seperti perbankan

  • MDM di macOS dibatasi hak aksesnya oleh AccessRights, jadi akses setingkat penggantian sertifikat SSL tidak dimungkinkan
    Namun kebijakan privasi mereka lemah, jadi sulit dipercaya
  • MDM adalah syarat yang sama sekali tidak bisa diterima. Saya tidak bisa menjadikan MacBook saya berpotensi jadi bata
    Lagi pula tidak ada alasan mengambil risiko itu hanya demi mendapatkan beberapa dolar per bulan

• Mereka bilang menggunakan TEE (Trusted Execution Environment) untuk memverifikasi integritas model dan kode
  AWS juga pernah mencoba hal serupa, tetapi diragukan apakah perlindungan memori dimungkinkan saat memakai GPU
  Paper terkait bisa dilihat di sini

  • Seluruh paper itu terasa sangat berbau LLM. Penggunaan rumus yang berlebihan malah menurunkan kepercayaan
  • Secara realistis, jika data dikirim ke server eksternal maka sejumlah retensi data tidak bisa dihindari
    Akan lebih aman jika dipakai hanya untuk penggunaan nonkomersial seperti klasifikasi atau pembuatan gambar, bukan data sensitif
  • Apple Silicon menggunakan memori terpadu untuk CPU dan GPU
    Teknik page table hypervisor yang dibahas di paper itu mengklaim melindungi memori GPU dari RDMA
  • Mac tidak punya hardware TEE seperti SGX, hanya ada Secure Enclave

• Di MacBook saat ini, privasi yang bisa diverifikasi secara fisik tidak mungkin dicapai
  Ada Secure Enclave, tetapi itu bukan enclave terbuka seperti SGX/TDX/SEV
  Pada akhirnya ini hanya keamanan setingkat hardening OS, bukan benar-benar lingkungan eksekusi rahasia

  • Saya punya pengalaman membuat SGX SDK sendiri. Di platform Apple juga bisa mencapai tingkat keamanan yang agak mirip
    macOS punya struktur yang cukup bisa dipercaya jika urutan boot dan konfigurasi TCC bisa diverifikasi dari jarak jauh
    Tidak sesempurna SGX, tetapi dari sisi kemudahan pakai justru lebih baik
  • Dibanding penyedia terpusat seperti OpenAI, node terdistribusi acak justru terasa lebih bisa dipercaya
  • Jika insentifnya cukup besar, hardware key apa pun pada akhirnya akan ditembus. Klaim mereka terasa terlalu percaya diri

• Jika dihitung secara sederhana, M5 Pro saya menghasilkan 130 token per detik (4 stream) untuk Gemma 4 26B
  Harga Darkbloom adalah $0.20 per Mtok, jadi jika berjalan 24 jam penuh pendapatannya sekitar $67 per bulan
  Dikurangi biaya listrik, biayanya sekitar $9 per bulan sehingga hanya setara uang jajan sekitar $700 per tahun

  • Dalam praktiknya konsumsi dayanya jauh lebih besar dari 50W. Listrik juga mahal dan penuaan hardware juga makin cepat
    Secara pribadi, saya lebih tertarik pada idenya daripada profitabilitasnya
  • Perhitungan mereka menetapkan tok/s di 414 untuk Gemma 4 26B
    Saat menghitung daya mereka memakai trik mengurangkan daya idle 12W, padahal kebanyakan orang tidak menyalakan komputer 24 jam sehari
  • Angka 130 tok/s tampak tinggi. Saya penasaran memakai standar quantization yang mana
  • Kerusakan hardware tidak diperhitungkan. Dulu saya pernah mining dengan GPU lalu kipasnya rusak dalam sebulan dan saya rugi
  • Bahkan OpenAI pun hanya punya 5% pelanggan berbayar, jadi diragukan apakah model seperti ini berkelanjutan
    Dulu juga ada upaya penyimpanan terdistribusi seperti Cubbit, tetapi gagal

• Yang ingin saya sampaikan ke @eigengajesh, Mac Mini M4 Pro juga punya opsi 64GB
  Dan ada berbagai bug — gagal memuat metallib, unduhan model 404, ketidaksesuaian pembagian pendapatan di dokumentasi (100% vs 95%), dan sebagainya
  Secara keseluruhan ada banyak dokumentasi yang terasa seperti ditulis LLM, dan sebaiknya dirapikan dulu sebelum dipublikasikan

• Proyek ini mengingatkan saya pada DataseamGrid yang dulu didistribusikan ke komputer sekolah
  Itu juga merupakan jaringan komputasi terdistribusi dengan konsep serupa

• Konsep yang menarik. Two-sided marketplace memang sulit dibootstrap di awal, tetapi rasa penasaran bisa menjadi pendorong
  Jika bukan hanya penyedia, tetapi juga diarahkan agar mereka mencoba memakai layanannya sendiri, mungkin keseimbangan permintaan-pasokan bisa tercapai
  Akan bagus kalau ada versi self-hosted untuk perusahaan. Banyak perusahaan punya inventaris Mac, jadi bisa dimanfaatkan sebagai jaringan inferensi internal

• Privasi berbasis hardware memang menarik, tetapi secara ekonomi biaya load adalah risiko besar
  Misalnya model MiniMax M2.5 239B, meski hanya 11B dari 239B yang aktif, tetap harus memuat 120GB
  Memuatnya dari SSD memakan waktu puluhan detik
  Jika request diarahkan ke Mac lain, setiap kali akan muncul latensi cold load
  Jika model selalu disimpan di memori, biaya listrik meningkat; jika tidak, latensinya membesar
  Terutama Mac 16GB~32GB bahkan tidak bisa meng-host model besar sama sekali, jadi penyedia yang benar-benar memungkinkan pada praktiknya sangat terbatas