AI HAT baru Raspberry Pi menambahkan RAM 8GB untuk LLM lokal

• Raspberry Pi AI HAT+ 2 dilengkapi Hailo 10H NPU dan 8GB LPDDR4X RAM sehingga dapat menjalankan inferensi LLM lokal secara mandiri
• Menawarkan konsumsi daya maksimum 3W dan performa 40 TOPS(INT8), tetapi dalam pengujian nyata hasilnya lebih lambat daripada CPU Pi 5
• Batas daya (3W) dan kapasitas RAM (8GB) menjadi bottleneck, sehingga untuk menjalankan model ukuran menengah Pi 5 16GB lebih efisien
• Dalam pemrosesan visi (Computer Vision), perangkat ini menunjukkan kecepatan 10x lebih cepat dibanding AI HAT sebelumnya, tetapi muncul masalah kompatibilitas software dan error saat menjalankan model secara bersamaan
• Kecuali untuk kebutuhan visi + inferensi paralel di lingkungan berdaya rendah, nilainya lebih besar sebagai board pengembangan atau platform eksperimen

---

Spesifikasi utama dan karakteristik AI HAT+ 2

• Model baru ini dibanderol $130, mencakup Hailo 10H NPU dan 8GB LPDDR4X RAM
  • Hailo 10H menawarkan performa inferensi 40 TOPS INT8 dan performa visi 26 TOPS INT4
  • Dapat menjalankan LLM secara independen tanpa memakai CPU Pi maupun memori sistem
• Masalah RAM tidak bisa di-upgrade masih tetap ada, tetapi saat dipakai sebagai prosesor pendamping AI, beban memori bisa dikurangi
• Dinilai lebih murah dan lebih ringkas dibanding koneksi eGPU, serta lebih praktis daripada NPU bawaan ‘AI PC’ milik Microsoft

Evaluasi performa nyata

• Pengujian dilakukan pada Raspberry Pi 5 konfigurasi RAM 8GB, dengan model yang sama dijalankan masing-masing di CPU dan NPU untuk dibandingkan
  • Pada sebagian besar model, CPU Pi 5 menunjukkan performa lebih cepat daripada Hailo 10H
  • Hanya pada model Qwen2.5 Coder 1.5B hasilnya mendekati
• Hailo 10H memiliki efisiensi daya yang tinggi, tetapi performanya dibatasi oleh limit daya 3W
  • SoC Pi 5 dapat menggunakan daya hingga 10W

Batasan menjalankan LLM dan kasus Qwen 30B

• RAM 8GB adalah faktor pembatas terbesar saat menjalankan LLM
  • Model ukuran menengah membutuhkan 10~12GB RAM, sehingga lebih cocok di Pi 5 16GB
• ByteShape berhasil menjalankan model Qwen3 30B A3B Instruct dengan mengompresnya menjadi 10GB agar sesuai untuk Pi 5 16GB
  • Ada penurunan kualitas, tetapi tugas dasar seperti membuat aplikasi sederhana tetap bisa dilakukan
• Hasil menjalankan model di Pi 5 menggunakan llama.cpp menunjukkan bahwa meski kecepatannya lambat, pekerjaan praktis masih bisa dilakukan dengan model lokal

Performa pemrosesan visi dan masalah software

• Pada tugas Computer Vision, perangkat ini menunjukkan kecepatan pemrosesan 10x lebih tinggi dibanding CPU Pi
  • Dalam pengujian dengan Camera Module 3, perangkat dapat mengenali keyboard, monitor, ponsel, mouse, dan lainnya dengan akurat
• Namun, kode contoh Hailo (hailo-rpi5-examples) masih belum mendukung AI HAT+ 2 dengan baik
  • Saat dikonfigurasi manual, terjadi kegagalan memuat model atau muncul error
• Saat menjalankan model secara bersamaan (visi + LLM), muncul segmentation fault dan masalah ‘device not ready’
  • Karena tidak ada contoh resmi cara kerja dari Hailo, pengujian tidak dapat diselesaikan

Kesimpulan dan potensi penggunaan

• RAM 8GB memang berguna, tetapi Pi 5 16GB adalah pilihan yang lebih cepat dan fleksibel
• Perangkat ini baru terasa praktis jika harus menjalankan pemrosesan visi dan inferensi sekaligus di lingkungan berdaya rendah
• Kombinasi AI Camera ($70) atau AI HAT+ lama ($110) bisa jadi lebih efisien
• Berpotensi digunakan untuk menjalankan LLM kecil (di bawah 10W) atau sebagai kit pengembangan perangkat berbasis Hailo 10H
• Secara keseluruhan, hardware-nya lebih maju daripada software-nya, dan produk ini dinilai cocok untuk kebutuhan yang sangat niche

[GN⁺]

Komentar Hacker News

• Dalam hitungan menit, saya melihat sekaligus pendapat bahwa AI HAT 8GB itu luar biasa untuk RPi, dan bahwa MacBook M2 MAX 96GB saya tidak berguna untuk LLM
  Setidaknya yang terakhir masih menghibur karena itu tetap laptop yang hebat

• Rasanya Raspberry telah kehilangan "keajaiban" dan rasa tujuan yang dulu dimiliki pada masa awal Pi
  Pada awalnya mereka menciptakan pasar baru, tetapi sekarang terasa seperti masuk ke bidang yang sudah jenuh
  Tentu bisa dipahami kalau mereka ingin berekspansi demi bertahan hidup, tetapi tampaknya mereka tidak lagi mampu menciptakan "momen Raspberry Pi" seperti dulu
  Seperti halnya solusi seperti Frigate yang mendorong penjualan Coral TPU, mungkin kali ini juga ada permintaan semacam itu, tetapi tampaknya masih kurang proposisi nilai yang unik

  • Dulu RPi benar-benar tak tertandingi, tetapi sekarang alternatif seperti laptop bekas atau ESP32 jauh lebih efisien
    Kini RPi tampaknya membidik pasar komersial karena harganya lebih murah daripada papan embedded industri
    Rasanya pelanggan utamanya kini adalah perusahaan, bukan konsumen
  • Meski begitu, kekuatan RPi tetap ada pada ekosistem software yang solid dan sifatnya yang terbuka
    SBC lain kualitas softwarenya berantakan, dan kombinasi dengan Raspbian itulah yang menjadi inovasi sesungguhnya
  • Di antara perangkat ARM lain, hampir tidak ada produk dengan harga yang masuk akal dan bisa dibeli terus-menerus oleh konsumen maupun usaha kecil
    RPi masih mengisi ceruk ini
  • Sebenarnya RPi hanya mengembangkan produknya mengikuti arah penggunaan yang sudah dilakukan orang
    Pico untuk pekerjaan kecil, Pi baru untuk pekerjaan besar, sementara Pi lama dan Zero masih tetap dijual
    Produk terkait AI juga merupakan perpanjangan alami dari arus ini, untuk orang-orang yang sudah menjalankan AI di Pi5
  • Pi lama juga masih murah dan tetap bekerja dengan baik
    Esensi Pi adalah GPIO + komputasi serbaguna, dan sekarang AI juga telah menjadi bagian darinya
    Hal-hal yang bisa dilakukan dengan AI lokal kini bertambah secara mengejutkan, dan memungkinkan penggunaan baru seperti navigasi otonom drone dan robot

• Sebenarnya tidak sehebat itu
  Menjalankan AI dengan RAM 8GB di Pi terasa agak mengecewakan

• Di Inggris saya belum pernah melihat Hailo HAT dipasarkan untuk LLM
  Perangkat itu terutama digunakan untuk deteksi objek video real-time, dan saya juga ingin mencobanya untuk mendeteksi hewan atau pengunjung di rumah dan kebun saya
  Versi Pimonori terbaru memang menyebut dukungan LLM dan VLM, tetapi penggunaan itu tampaknya lebih realistis

• Sampai muncul candaan seperti, "8GB? LLM buat semut?"

  • Bahkan dengan inferensi CPU saja, model ringan seperti Gemma 3 bisa berjalan cukup baik
    Memang tidak cocok untuk beban berat, tetapi untuk generasi teks sederhana sudah lebih dari cukup
  • Sebenarnya ini lebih mirip demo tentang apa yang bisa dilakukan di Pi daripada harapan akan performa setara GPT-4
    Ini adalah sarana eksperimen untuk LLM ultra-kecil yang terspesialisasi
    Namun masalahnya adalah peningkatan pemrosesan visi yang kecil dibanding harga yang mahal, serta dukungan software yang masih kurang

• Beberapa tahun lalu, produk seperti ini mungkin hanya akan disebut akselerator ML
  Tetapi sekarang diberi nama "AI", sehingga ekspektasinya berubah dan penilaiannya jadi terbelah

• Saya tidak yakin LLM kecil berguna untuk hal lain selain embedding atau pelatihan
  Kalau untuk pelatihan, ada hardware yang lebih baik dan lebih murah; kalau untuk embedding, ini hanya lambat dan mahal

  • Meski begitu, untuk tujuan tertentu seperti antarmuka smart home berbasis bahasa alami, perangkat ini tetap berguna jika di-fine-tune sesuai kebutuhan
    Bahkan model kecil pun, jika di-fine-tune dengan data yang terspesialisasi, bisa menghasilkan performa yang mendekati model umum yang jauh lebih besar

• Ide yang menarik, tetapi untuk penggunaan ini Jetson Orin Nano adalah pilihan yang lebih baik
  Hanya saja RAM-nya berbagi pakai, sehingga sekitar 1GB hilang untuk overhead OS

• Mengatakan "bisa menjalankan LLM" tidak berarti "menjalankan LLM itu masuk akal"
  Ini adalah contoh yang menunjukkan bahwa angka spesifikasi dan pengalaman nyata bisa sangat berbeda

• Dari sudut pandang edge computing, upaya kali ini adalah lompatan yang bermakna bagi ekosistem RPi
  Jika akselerator inferensi berdaya rendah terintegrasi, maka AI lokal tanpa cloud bisa diwujudkan
  Ini memang masih tahap awal, tetapi arahnya sudah benar untuk edge workload yang sesungguhnya

  • Saya penasaran penggunaan konkret seperti apa yang dibayangkan