Meta AI mengumumkan CoTracker, model yang melacak setiap titik (piksel) dalam video

• Meta AI mengumumkan CoTracker, model baru untuk melacak titik (piksel) dalam video
• CoTracker bertujuan melacak banyak titik di seluruh video dengan mempertimbangkan korelasi antar titik
• Arsitekturnya didasarkan pada gagasan dari optical flow dan literatur pelacakan, serta menggunakan jaringan transformer dengan lapisan attention yang terspesialisasi
• Dengan menggunakan pendekatan sliding window, model ini dapat diterapkan pada video panjang, dan terbukti efisien serta lebih akurat dibandingkan metode pelacakan titik lainnya
• Model ini menghasilkan pelacakan yang lebih bersih dan linear, terutama ketika terjadi occlusion
• CoTracker menunjukkan kinerja yang lebih unggul dalam hal akurasi dibandingkan riset lain seperti TAPIR dan Multi-Flow Tracking
• Ini merupakan kemajuan penting yang memberi software engineer alat baru yang kuat untuk melacak titik dalam video, sehingga meningkatkan performa dan akurasi

[kuroneko]

Demo-nya terlihat cukup cantik. Kalau memikirkan apa yang dibutuhkan di VR, rasanya ada juga sisi yang bisnisnya sampai batas tertentu selaras...

[GN⁺]

Komentar Hacker News

• Sudut pandang bisnis dari divisi riset Meta tidak jelas, dan hubungannya dengan bisnis inti sulit dipahami.
• Pengalaman dengan pixel pelacak Facebook tampaknya berkontribusi pada keberhasilan model CoTracker milik Meta.
• Tujuan Meta tampaknya berfokus pada membuat VR terasa dapat dipercaya, serta membangun sistem AI yang dapat memahami dunia secara real-time.
• Tautan ke makalah, GitHub, dan demo CoTracker disediakan.
• Google memiliki versi pelacakan titiknya sendiri bernama Tapir dengan lisensi Apache-2.0.
• Proses riset di perusahaan produk berbeda dari perusahaan yang berfokus pada engineering.
• Perbandingan antara CoTracker dan algoritme estimasi gerak pada codec video menimbulkan pertanyaan.
• Model AI open source seperti CoTracker dapat mendorong startup ke pasar yang sangat kompetitif dengan margin rendah.
• Andrew Zisserman, Hartley, dan Poge adalah tokoh berpengaruh yang disebutkan.
• CoTracker mungkin memiliki aplikasi AR di masa depan.

[xguru]

Sudut pandang bisnis dari divisi riset Meta tidak jelas, dan hubungannya dengan bisnis inti pun sulit dipahami.

Ini benar-benar komentar yang paling tepat. Riset itu bagus, tetapi ada banyak bagian yang penyelarasannya dengan bisnis masih sulit dipahami.
Rasanya juga sedikit seperti melihat Google di masa lalu..