- Alat CLI untuk melakukan pencarian gambar semantik secara lokal tanpa API pihak ketiga
- Membuat indeks embedding gambar dan melakukan pencarian berdasarkan
node-mlx, framework machine learning untuk Node.js
- Platform yang didukung
- GPU : Mac Apple Silicon
- CPU : Mac x64, Linux x64/arm64
- Gunakan
sisi index <target> untuk membuat indeks gambar dalam folder tertentu
- Gunakan
sisi search 'cat jumping' untuk mencari gambar yang berisi konten tertentu
Cara kerja
- Indeks menghitung embedding gambar menggunakan model CLIP dari OpenAI, lalu menyimpannya sebagai binary JSON
- Pencarian gambar menghitung kemiripan kosinus antara string kueri dan embedding yang telah diindeks
- Tidak menggunakan database, dan setiap kali pencarian dilakukan, perhitungan dijalankan pada semua embedding yang tersimpan. Tetap sangat cepat bahkan dengan puluhan ribu foto
- Implementasi JavaScript untuk model CLIP menggunakan frost-beta/clip
Belum ada komentar.