Ringkasan sistem computer vision untuk identifikasi pemain basket

🏀 Ringkasan sistem computer vision untuk identifikasi pemain basket

Posting blog ini menjelaskan secara rinci proses membangun sistem kompleks yang memanfaatkan teknologi computer vision untuk mendeteksi, melacak, dan mengidentifikasi pemain dalam video pertandingan basket. Sistem ini menggabungkan beberapa model AI mutakhir dalam bentuk pipeline untuk mengatasi tantangan sulit seperti pergerakan pemain yang cepat, occlusion akibat kontak fisik, seragam yang mirip, dan pergerakan kamera.

---

Teknologi utama dan pipeline

Sistem ini mengidentifikasi pemain melalui beberapa tahap proses yang canggih.

1. Deteksi objek (Object Detection):

   • Menggunakan model RF-DETR untuk menemukan secara akurat posisi objek-objek utama dalam video, seperti pemain, nomor punggung, bola basket, dan ring.

2. Pelacakan pemain (Player Tracking):

   • Memanfaatkan SAM2 (Segment Anything Model 2) untuk melacak pemain di setiap frame. Berkat fitur memori internal SAM2, sistem dapat terus mengenali dan mempertahankan pelacakan pemain yang sama meskipun pemain tersebut sempat tertutup oleh pemain atau objek lain.

3. Pemisahan tim (Team Clustering):

   • Menggunakan pendekatan clustering pembelajaran tanpa supervisi untuk membedakan dua tim berdasarkan warna seragam.
   • Model SigLIP mengubah fitur visual tiap pemain menjadi vektor embedding.
   • UMAP digunakan untuk mereduksi data embedding berdimensi tinggi menjadi dimensi yang lebih rendah.
   • Algoritma K-means clustering diterapkan untuk membagi pemain menjadi dua grup (tim).

4. Identifikasi pemain (Player Identification):

   • Mengenali nomor punggung untuk mengidentifikasi pemain secara final.
   • Pada awalnya SmolVLM digunakan untuk OCR (optical character recognition), tetapi model ResNet yang di-fine-tune untuk klasifikasi nomor punggung menunjukkan akurasi lebih tinggi dan akhirnya dipilih.
   • Menggunakan metrik IoS (Intersection over Smaller Area) untuk memastikan nomor punggung yang terdeteksi terhubung secara akurat ke mask pemain yang benar.
   • Untuk meningkatkan keandalan sistem, nomor pemain baru dipastikan ketika prediksi nomor punggung yang sama muncul berulang kali.

---

Kesimpulan dan source code

Sistem ini merupakan contoh sukses yang menunjukkan kemungkinan menyelesaikan masalah analisis olahraga dunia nyata yang kompleks melalui integrasi kreatif beberapa model computer vision paling mutakhir. Namun, karena kompleksitas prosesnya, sistem ini tidak berjalan secara real-time.

• Source code: Kode lengkap proyek ini dapat dilihat di repositori GitHub berikut.
  • https://github.com/roboflow/basketball-player-identification

[shakespeares]

Tautan kode sumber tidak bisa dimasukkan.