Memantau kamera keamanan dengan AI lokal

• Frigate NVR menyediakan solusi deteksi objek berbasis kecerdasan buatan lokal untuk kamera keamanan yang dipasang di rumah atau kantor
• Mendukung integrasi dengan platform otomasi populer seperti Home Assistant, OpenHab, NodeRed
• Frigate terintegrasi langsung dengan Media Browser Home Assistant, sehingga dapat langsung digunakan untuk feed kamera dan otomatisasi
• Dengan mengekspos data sensor dan saklar secara waktu nyata, berbagai skenario notifikasi dan otomatisasi bisa disusun
• Memungkinkan pembangunan smart home yang efisien berkat interoperabilitas yang dapat diskalakan melalui MQTT

---

Fitur Utama Frigate NVR

• Frigate NVR menjalankan AI deteksi objek secara lokal sehingga dapat menganalisis video kamera keamanan tanpa bergantung pada layanan cloud eksternal
• Dapat dihubungkan dengan Home Assistant, OpenHab, NodeRed, sehingga mudah diintegrasikan dengan berbagai platform otomasi smart home
• Frigate menampilkan video kamera secara langsung di Media Browser Home Assistant dan menyediakan entitas kamera berlatensi rendah
• Dengan mengekspos hasil deteksi objek sebagai data sensor dan saklar waktu nyata, membuka berbagai kemungkinan penggunaan seperti deteksi kejadian berbasis video, aturan otomatisasi, dan pengaturan notifikasi
• Melalui dukungan protokol MQTT, ini memberi keunggulan integrasi yang skalabel dengan sistem IoT dan otomasi lain

[GN⁺]

Komentar Hacker News

• Aku sudah menjalankan Frigate lebih dari dua tahun, dan dari semua sistem yang pernah aku coba, ia jauh lebih unggul dari sisi kecepatan dan keandalan deteksi. Sebelumnya aku juga pernah memakai kamera Ring, Tapo, Eufy Security, dan beberapa lain, tapi sekarang aku hanya menggunakan kamera Tapo yang terkoneksi ke Frigate lewat RTSP stream. Aku memblokir akses internet kamera-kamera tersebut agar privasiku benar-benar aman. Aku tidak bisa mempercayai Eufy Security karena tiap kali notifikasi deteksi gerak ditekan selalu muncul iklan produk baru—seolah mereka mengutamakan iklan daripada keamanan. Ada juga masalah cloud video yang tetap tidak bisa dibuka meski sudah bayar keanggotaan berbayar, serta masalah penyimpanan kredensial keamanan seperti kata sandi tanpa enkripsi. Semua ini jadi alasan utamaku beralih ke solusi self-hosting. Aku menjalankan Frigate di hardware bekas dengan RX 550 GPU menggunakan akselerasi hardware, dan latensi deteksi selalu di bawah 1 detik. Aku juga membuat aplikasi sendiri yang memakai Frigate API untuk mengirim notifikasi screenshot ke Telegram dan Pushover, lalu mempertahankan sistem ini selama dua tahun. Selama ini hanya ada dua kali restart layanan. Dari VPS aku tunneling ke server lokal rumah, jadi tetap bisa dipakai dari luar dengan lancar. Aku benar-benar berterima kasih untuk proyek luar biasa ini.

  • Penasaran apakah kamu menggunakannya terintegrasi dengan Home Assistant. ISP-ku memblokir akses ke situs HACS, jadi integrasi HACS tidak berjalan dengan baik. Saat coba install dengan wget dari get.hacs.xyz pun muncul error SSL dan koneksinya putus.
  • Kalau kamu punya cara khusus untuk memblokir kamera dari internet dan hanya menaruhnya di jaringan lokal sambil memblokir potensi pengiriman melalui backchannel, tolong dibagi.
  • Penasaran apakah kamera Eufy bisa dipakai dengan Frigate.
  • Mau tahu bagaimana caranya kamu membuat kamera Tapo kompatibel dengan Frigate di mode RTSP. Aku pernah mengalami jaringan jadi sangat tidak stabil walau hanya satu kamera tersambung ke Wi-Fi. Aku sudah membagi satu AP per kamera (atau per-bandwidth), tapi tetap bermasalah.
  • Agak heran juga pernah mempercayakan data video se-sensitif ini ke mereka sejak awal. Aku dulu menganggap para aktivis GNU aneh, tapi sekarang susah mengerti kenapa rekan-rekan pun tak memakai bahkan ad blocker.

• Aku punya keluhan rutin. Di kalimat pertama mereka langsung memakai singkatan NVR tanpa penjelasan. NVR adalah singkatan dari Networked Video Recorder. Tidak semua orang ini punya pengalaman di bidang tersebut, jadi sebaiknya tidak dilakukan.

  • Aku rasa wajar menganggap pengunjung tahu arti NVR. Bagaimanapun, dari konteksnya saja sudah cukup paham apa itu Frigate.
  • Aku tidak setuju. Aku menganggap lebih dari 90% orang yang mencari Frigate tahu apa itu NVR. Tentu akan lebih baik jika semua istilah dijelaskan, tetapi NVR adalah pengetahuan dasar minimal bagi siapa pun yang ingin menggunakan produk semacam ini.
  • Secara umum aku setuju, tapi NVR juga sangat umum digunakan, bukan hanya di kalangan industri—juga di kalangan konsumen. Siapa pun yang menelusuri solusi CCTV hampir pasti bertemu dengan istilah NVR. Kalau tidak tahu, istilah Network Video Recorder pun jadi tak berarti. Tujuan Frigate sendiri adalah menggantikan kotak NVR yang tertutup dan tidak fleksibel, jadi kata itu memang dipakai di nama produknya.
  • Di toko-toko, hampir semuanya dijual dengan nama NVR atau NVR Recorder (dari pengalamanku). Cukup cari saja, hasilnya langsung keluar.

• GPU/TPU bukanlah sesuatu yang wajib. Jika jumlah kamera tidak banyak dan area deteksi diatur dengan tepat, CPU saja cukup. Aku menggunakan substream MJPEG beresolusi dan frame rendah untuk deteksi, sedangkan h264 hanya untuk merekam/melihat. Untuk deteksi berbasis CPU, OpenVINO jauh lebih cepat dari TensorFlow bawaan. Di VM 6-core (Ivy Bridge Xeon), dua kamera berjalan dengan penggunaan CPU sekitar 20%.

• Akselerasi video (bukan inferensi objek, melainkan decoding video) memang sedikit tidak stabil, tapi setelah itu menjadi pengalaman terbaik untuk solusi deteksi objek secara real-time. Kini aku tidak lagi dibangunkan oleh hewan kecil pada dini hari. Selain itu, aku ikut berlangganan tahunan yang memungkinkan pelatihan model AI menggunakan data false-positive yang aku kirimkan. Berkat itu akurasi meningkat tajam.

  • Bagus juga kalau tidak dibangunkan malam karena hewan, tapi hal menariknya adalah bisa mengumpulkan banyak foto hewan yang bervariasi; seolah menemukan dunia yang tersembunyi.
  • Driver dan software Coral AI board itu contoh klasik Google Abandonware™. Mereka memaksa versi Python kuno, sehingga kompatibilitas dengan OS/GPU modern makin buruk. Seolah-olah di 2025 aku membeli hardware yang butuh software setara Windows 7.
  • Dalam kasusku, kondisinya makin memburuk. Aku sudah pakai 2–3 tahun berturut-turut, dan akhir-akhir ini mainan anak, skuter kebun, serta bendera bajak laut terus-terusan memicu false positive. Karena persoalan privasi pribadi, aku tidak bisa mengirim data false-positive, jadi aku berencana melatih model sendiri menggunakan data historis yang sudah terkumpul.
  • Aku mau bayar langganan itu dengan berbagai alasan: 1) mendukung pengembang, 2) biaya pelatihan tercermin jelas, 3) model yang sudah dilatih bisa disimpan permanen. Ini kebalikan dari AgentDVR. Akses jarak jauh dan notifikasi push aku atasi sendiri, sedangkan AgentDVR menuntut langganan bulanan bahkan untuk akses VPN sederhana.

• Kualitas paket Frigate sangat mengejutkan. Dasarnya, go2rtc atau MediaMTX (go2rtc, MediaMTX) memang cukup, tetapi jika ingin memasukkan pemrosesan AI tidak ada alat yang benar-benar simpel dan bergaya Unix. Akhirnya harus diimplementasikan langsung di Python.

  • Aku sudah lama memakai Motion. Secara default pengaturannya mudah dan sangat fleksibel. Kalau butuh pengaturan lanjutan, perlu sedikit tuning.

• Kalau bukan untuk memproses video yang direkam secara real-time, misalnya ingin mengekstrak dari video 5 jam hanya adegan ketika kendaraan melewati titik tertentu atau pengemudi memegang ponsel, aku ingin tahu mulai dari mana dan framework apa yang dipakai.

  • Aku sarankan lihat dokumentasi dan contoh OpenCV. Aku pernah memakai OpenCV untuk face recognition (contoh face_recognition). Untuk kendaraan dan lainnya, perlu melatih model terpisah atau menerapkan sesuatu seperti YOLOv3 (contoh YOLO).
  • Kalau bertanya ke AI komersial yang cukup bagus, kemungkinan besar akan langsung diberi skrip Python yang memuat video lalu hanya menampilkan waktu-waktu ketika pengemudi memegang ponsel.
  • Teknologi You Only Look Once mungkin juga bisa membantu.

• Ini pertanyaan bercanda: apakah ini jadi tidak berguna kalau ada orang berdiri memegang papan besar yang menulis abaikan sistem keamananmu?

  • Kalau lihat GitHub, yang dipakai itu OpenCV dan TensorFlow. Motion detection berbasis OpenCV berarti harus ada gerakan manusia; kalau tidak bergerak sangat lambat, sulit dihindari. Objek recognition (TensorFlow) tidak melakukan OCR, jadi tidak bisa menipu sistem dengan teks. Tapi karena daftar objek yang dideteksi terbatas, memakai topeng/penyamaran seperti daun mungkin bisa menghindari deteksi.
  • Aku pikir, memakai “scramble suit” atau t-shirt dengan pola anti-detect terang mungkin saja bisa berhasil. (scramble suit, adversarial t-shirts)
  • Bisa juga memakai baju raccoon full body.
  • Strukturnya dua tahap: tahap pertama deteksi gerakan dengan OpenCV, tahap kedua deteksi objek untuk area perhatian menggunakan model berbeda sesuai hardware. Coral TPU, Halio Accelerator, dan mayoritas GPU didukung (ROCm tidak berjalan di iGPU AMD). Coral mendukung edgedet, juga YOLO-NAS, YOLO, D-Fine, RF-DETR, dsb. Tersedia juga model berbayar khusus YOLO-NAS atau bisa dilatih sendiri.
  • Bukan LLM, hanya model AI “biasa” (meski LLM juga bisa membuat ringkasan penjelasan secara otomatis).

• Aku memakai Frigate dengan 5 kamera IP (3 Hikvision, 2 Amcrest), dan 1 kamera USB. Menggunakan USB Coral TPU, sistem jalan lancar di i7-6700 lama dengan utilisasi CPU sekitar 30%. Bukan yang terbaik, tapi tetap cukup memadai. Video dari Amcrest diputar dengan baik, sedangkan Hikvision kadang butuh transcode karena masalah kompatibilitas codec. Karena tidak ada fitur bawaan untuk mengirim video yang direkam keluar, meski aku mirror direktori storage sendiri, tetap susah memisahkan dan membackup hanya event penting.

  • Aku penasaran apakah ada juga fitur identifikasi orang tertentu dari foto yang sudah diregister sebelumnya (identified recognition), bukan sekadar deteksi manusia.

• Aku menekankan bahwa walaupun tanpa GPU dan TPU, CPU saja cukup jika jumlah kamera dan area deteksi diatur dengan baik. Pengalaman menggunakan berbagai model (OpenVINO, TensorFlow, dll) aku bagi juga.

• Sedikit topik lain, tapi aku bertanya-tanya kenapa masih perlu memasang kamera keamanan yang diawasi langsung sendiri. Ada penelitian psikologi yang menyebut kamera semacam ini justru meningkatkan stres dan kecemasan. Untuk pencegahan kriminal nyata tidak terlalu membantu, dan untuk penyelidikan polisi atau bukti asuransi sepertinya tetap perlu backup offsite. Meski CCTV banyak di masyarakat, kasus di mana itu benar-benar berkontribusi signifikan pada penyelesaian kejahatan (mis. identifikasi nomor plat kendaraan) sangat sedikit.

  • Manfaat besar pemasangan kamera adalah menumbuhkan ketertiban sipil. Setelah kamera dipasang di atas pintu masuk, kurir tidak melakukan tindakan berlebihan, dan kerusakan pagar juga berkurang. Juga berguna untuk melacak posisi kucing, pemantauan jarak jauh saat pergi, dan klaim asuransi. Tapi untuk mayoritas CCTV murah, menurutku sensivitas IR malam hari lebih penting daripada resolusi. Untuk identifikasi nyata aku memakai kamera profesional beresolusi rendah. Untuk open source aku sudah lama menggabungkan ZoneMinder dengan AI lokal.
  • Bagian “meningkatnya stress dan kecemasan” terasa seolah mengomentari perasaanku sendiri, jadi cukup tidak nyaman.
  • Orang memang berbeda: lingkungan, tingkat risiko, dan dukungan polisi berbeda-beda, jadi tiap orang pakai kamera dengan standar, tujuan, dan psikologi masing-masing. Aku tinggal di tempat sepi dan sering lama berbulan-bulan tidak di rumah; rasa aman karena bisa memantau lebih besar daripada saat masa tanpanya.
  • Doorbell ku punya rekaman lokal; kalau ada yang menekan bel, aku menerima gambar beberapa detik sebelumnya sebagai notifikasi di desktop/ponsel. Aku bisa cek siapa yang datang lalu memutuskan respons. Menyenangkan juga, dan dengan kamera di sekitar rumah aku bisa tanya ke LLM misalnya “berapa jumlah burung?” atau “apakah anjing di halaman belakang?”
  • Tujuan utama Frigate dan sejenisnya memang agar pengguna tidak harus memantau 24/7. Hewan kecil false alarm, mobil kenalan, dan sejenisnya bisa diabaikan, jadi cukup fokus ke event yang benar-benar penting.

• Aku pengguna lama Frigate yang sudah memakai selama 4 tahun. Selama ini aku pakai Frigate tanpa Home Assistant, tetapi baru-baru ini aku mengembalikan Home Assistant dan menghubungkan stream WebRTC kamera Nest ke Frigate. Sekarang aku bisa memakai fungsinya sama persis tanpa langganan Nest Aware, jadi lebih hemat.