Jina AI merilis model embedding teks 8K open-source pertama di dunia

• Model embedding teks jina-embeddings-v2 yang mendukung panjang 8192 token
• Bersaing dengan text-embedding-ada-002 milik OpenAI, dan menunjukkan performa yang lebih baik dalam benchmark untuk klasifikasi, reranking, pencarian, peringkasan, dan lainnya
• Dibangun ulang dari nol, serta dapat digunakan di berbagai bidang dengan konteks 8k: analisis dokumen hukum, riset medis, analisis sastra, prediksi keuangan, AI percakapan, dan lain-lain
• Dua model tersedia untuk diunduh di HuggingFace
  • Base Model (0.27G): dirancang untuk tugas berat yang menuntut akurasi tinggi, seperti riset akademik atau analisis bisnis
  • Small Model (0.07G): dibuat untuk aplikasi ringan seperti aplikasi mobile atau perangkat dengan sumber daya komputasi terbatas

[GN⁺]

Opini Hacker News

• Jina AI telah merilis model embedding teks 8k open-source.
• Beberapa pengguna mempertanyakan performa model ini, dan menunjukkan bahwa model tersebut menempati peringkat lebih rendah di leaderboard dibanding embedding OpenAI dan 14 kontribusi lainnya.
• Jendela konteks 8k adalah fitur baru, tetapi sebagian pengguna meragukan kegunaannya, terutama jika mempertimbangkan batas 512 token.
• Sementara sebagian besar benchmark menangani dokumen kecil, ada keraguan tentang performa model pada dokumen yang lebih besar.
• Sebagian pengguna mengungkapkan antusiasme bahwa komunitas open-source semakin memperkecil jarak dengan "Open"AI.
• Vektor embedding model baru ini berukuran setengah dari text-embedding-ada-002 (768 vs 1536), sehingga dapat menghemat ruang database dan mempercepat pencarian.
• Muncul pertanyaan tentang use case untuk embedding 8k token, dan sebagian pengguna mengusulkan bahwa ini mungkin tidak terlalu berguna untuk RAG.
• Seorang pengguna mengkuantisasi model untuk penggunaan onnx dan mengurangi ukuran file 4 kali lipat di transformers.js.
• Model ini dibandingkan dengan model OpenAI, dengan dukungan multibahasa dan kemampuan menghitung koordinat yang sama untuk makna yang sama dalam bahasa berbeda.
• Plugin llm-embed-jina yang baru telah dirilis ke alat LLM, sehingga memungkinkan akses ke model Jina yang baru.
• Sebagian pengguna terkesan dengan pekerjaan ini, tetapi mempertanyakan cara terbaik memanfaatkan embedding 8k, dan menyarankan bahwa ini bisa berguna untuk pencocokan kemiripan kasar atau deteksi plagiarisme.
• Karena pembatasan ekspor chip dan ketegangan antara AS/Tiongkok, muncul kekhawatiran tentang operasional Jina AI, yang memiliki kantor di Berlin dan Tiongkok.