Mencari di Dalam Video YouTube dengan Bahasa Alami

• Menggunakan jaringan saraf CLIP dari OpenAI untuk mencari adegan tertentu di dalam video

→ Mencari gambar di dalam video seperti "Road Works", "People crossing the street", "Fire truck"

Cara kerja

1. Unduh video YouTube

2. Ekstrak setiap frame

3. Enkode semua frame dengan CLIP

4. Enkode kueri pencarian bahasa alami dengan CLIP

5. Temukan adegan tertentu dengan pencarian bahasa alami

• Bisa langsung dijalankan sebagai notebook di Google Colab

→ https://colab.research.google.com/github/haltakov/…

[xguru]

Di komentar ada juga pencarian gambar Unsplash yang dibuat dengan CLIP oleh pengembang yang sama; ini juga sepertinya sangat berguna

• https://github.com/haltakov/natural-language-image-search

• Google Colab : https://colab.research.google.com/github/haltakov/…

Akan mencarikan foto dengan isi yang diinginkan dari 2 juta foto yang diunggah ke Unsplash.

• "Two dogs playing in the snow", "The word love written on the wall", "The feeling when your program finally works"