Pencarian Google di dalam video
(dev.ctrlx.video)Halo
Saya pernah mengembangkan dan mengoperasikan aplikasi pencatatan olahraga bernama Flick, dan
saat ini saya adalah developer yang sangat tertarik pada titik temu antara LLM, multimodal, Langchain, khususnya agen LLM, dan video.
Proyek yang ingin saya perkenalkan adalah sebuah mesin pencari yang memungkinkan Anda mencari adegan atau klip video yang diinginkan di dalam video yang diunggah menggunakan teks atau gambar.
Saat ini sebagian besar video masih ditangani oleh manusia, tetapi saya memulai proyek ini dengan pemikiran: jika ada API untuk menangani video, mungkinkah AI agent dapat langsung mengedit atau mengekstrak video?
Agar Anda bisa mencobanya, saya telah mengunggah beberapa video YouTube acak ke Playground.
Saya akan sangat berterima kasih jika Anda bisa memberikan masukan tentang penggunaannya.
P.S. Jika Anda ingin mengunggah video sendiri, atau membutuhkan hasil dalam bentuk API, silakan hubungi saya kapan saja.
3 komentar
Dari dulu, di antara program untuk mengelola video rumahan,
sudah ada beberapa program yang mengekstrak berbagai adegan dari video lalu mengklasifikasikan adegan dengan CNN tradisional(?) agar bisa dicari...
Yang ini tampaknya bekerja jauh lebih baik, sampai terasa beda level dibanding cara seperti itu.
Setelah saya coba cari beberapa kali, sepertinya sekitar 70~80% hasilnya benar-benar adegan yang saya cari.
Misalnya saat saya mencari "A scene where something explodes", sistem ini cukup bagus menemukan adegan-adegan yang berkilau dari film Spider-Man.
Tentu saja, adegan yang berganti cepat juga kadang dikenali sebagai ledakan... tapi tetap saja sangat mengagumkan.
Saat saya mengunggah gambar yang ada logo Netflix, kalau ada logo perusahaan apa pun termasuk Netflix, semuanya bisa ditemukan.
(Meski begitu, agak disayangkan karena belum mendukung bahasa Korea.)
Fitur ini sepertinya juga akan bekerja dengan baik untuk gambar, jadi rasanya hari ketika setiap orang bisa menelusuri seluruh albumnya sendiri, termasuk video, dengan AI sudah tidak lama lagi.
Atau saat mengedit siaran langsung atau video yang sangat panjang, kita bisa mencari dan mengambil highlight atau bagian yang benar-benar dibutuhkan lewat AI tanpa harus menonton semuanya.
Kalau dipikir dari sisi perusahaan, mungkin YouTube juga bisa punya fitur pencarian dengan bahasa alami + adegan.
Bagaimanapun, terima kasih sudah merilis proyek yang keren ini.
Sepertinya ini agak berbeda dari arah pengembangan yang sedang Anda jalankan sekarang, tapi semoga suatu hari proyek seperti ini dirilis sebagai open source sehingga bisa di-self-host.
Halo kuroneko, terima kasih telah menikmati dan bereksperimen dengan proyek ini.
'Hari ketika setiap orang bisa menelusuri seluruh albumnya sendiri, termasuk video, dengan AI'
-> Saya langsung teringat diri saya sendiri yang dulu membongkar-bongkar album untuk mencari foto...
'Mengedit video yang sangat panjang, lalu melalui AI menemukan dan mengambil sorotan atau bagian yang dibutuhkan'
-> Betul. Saya tertarik untuk menurunkan biaya marginal produksi video dengan memanfaatkan AI.
Sekali lagi, terima kasih banyak telah menyampaikan ulasan penggunaan yang begitu rinci seperti ini.
Saya akan membacanya dengan saksama, mengekstrak bagian-bagian yang bisa memberi inspirasi bagi proyek ini, lalu terus menerapkannya.