EdgeFlow - Framework Pemrosesan Video Terdistribusi Real-time yang Dapat Diskalakan Secara Horizontal

Ini adalah framework berbasis k3s yang dibuat untuk mewujudkan pemrosesan video ber-fps tinggi pada perangkat berperforma rendah seperti Raspberry Pi.
Ekspansi horizontal diwujudkan dengan cara mendistribusikan frame video berurutan ke beberapa node pemrosesan melalui Redis, lalu menggabungkannya kembali.

Dalam praktiknya, kami mengonfirmasi bahwa kecepatan menjalankan YOLOv5 yang hanya mencapai 4fps pada satu Raspberry Pi 4B meningkat secara linear hingga 16–17fps saat didistribusikan ke 4 node.

Sistem ini terdiri dari Producer yang menghasilkan frame, Consumer yang menangani pemrosesan, dan Gateway yang mengumpulkan serta menampilkan hasil.
Gateway dapat diperluas ke berbagai sistem dengan bebas mengganti antarmukanya, dan Redis yang berperan sebagai broker perantara (Broker) juga dirancang agar bisa dikustomisasi dengan protokol lain.

Fitur utama

• perintah edgeflow: Dengan satu perintah, proses build image, push, hingga deployment ke klaster k3s dapat dilakukan sekaligus.
• Pipeline yang intuitif: Pipeline dapat disusun secara intuitif melalui sintaks link().to().
• Manajemen yang fleksibel: Dependensi tiap node dapat dikelola secara independen, dan jika tidak ada perubahan dependensi, kode bisa langsung diterapkan ke pod yang sedang berjalan tanpa rebuild.
• Jaminan urutan: Untuk mengatasi masalah urutan frame yang tercampur saat pemrosesan terdistribusi, Jitter Buffer dibangun langsung di Gateway.
• Pengujian lokal: Bahkan tanpa klaster Kubernetes, pipeline dapat direproduksi di lingkungan lokal dengan pendekatan multi-proses.

Status progres

Pada tahap prototipe, kami telah berhasil menarik kamera Raspberry Pi secara langsung ke dalam pod, dan saat ini sedang melanjutkan implementasi agar fitur ini dapat direproduksi secara stabil di atas framework.

---

Saat ini kami sedang menyempurnakan proyek ini untuk menghubungkan berbagai sistem. Masih ada banyak kekurangan, tetapi masukan apa pun tentang sistem terdistribusi atau perancangan pipeline pemrosesan video akan sangat membantu pembelajaran kami. Terima kasih sudah membaca.

Anda dapat melihat detail lebih lanjut atau tutorial singkat melalui tautan di bawah ini.
Github: https://github.com/seolgugu/edgeflow