Mengimplementasikan BGE-M3 dari Nol, Model Embedding RAG Terbaik untuk Bahasa Korea
(blog.sionic.ai)Ini adalah tulisan blog yang mencoba mengimplementasikan ulang BGE-M3, model embedding khusus RAG yang paling baik untuk bahasa Korea, melampaui implementasi Python yang disediakan oleh Huggingface, dengan menggunakan TensorFlow/Keras dalam bentuk yang memungkinkan serving skala besar di lingkungan enterprise.
- Dukungan serving enterprise
- Memungkinkan pemrosesan terdistribusi skala besar di lingkungan Hadoop-Spark berbasis Java/Scala
- Implementasi server berperforma tinggi melalui Kotlin/Spring Boot
- Dukungan lingkungan produksi skala besar melalui TensorFlow Serving
- Dukungan lingkungan mobile/embedded melalui TensorFlow Lite
- Penyederhanaan struktur model
- Mengimplementasikan struktur inti hanya dengan Dense Layer dan LayerNorm
- Menghapus dependensi Python yang kompleks
- Menjamin throughput tinggi dengan struktur yang ringan
- Karakteristik implementasi
- Mengimplementasikan embedding Word/Position/Token Type dengan Dense Layer dasar
- Menyusun 24 blok Transformer dengan operasi TensorFlow murni
- Mengoptimalkan performa dengan implementasi kustom Multi-Head Self-Attention
- Contoh penggunaan nyata
- Pemrosesan embedding terdistribusi di lingkungan Hadoop skala besar
- Federated learning dan layanan RAG berbasis Spring Boot
- Inferensi mobile dengan memanfaatkan Apple Neural Engine
- Deployment TensorFlow Serving kelas enterprise
Metode implementasi yang dijelaskan dalam tulisan ini memiliki karakteristik menghilangkan ketergantungan pada Python dan hanya memanfaatkan fitur native TensorFlow, sehingga memungkinkan layanan yang stabil di lingkungan enterprise berskala besar.
4 komentar
https://github.com/sionic-ai/BGE-M3-Model-Converter
Kami telah merilis seluruh kode sumbernya.
Tulisan itu sendiri tidak terlalu sulit, tetapi karena kode-kode yang dilampirkan dalam penjelasannya agak tidak lengkap, sepertinya akan lebih baik jika seluruh kode yang diimplementasikan dengan metode tersebut dibagikan.
https://github.com/sionic-ai/BGE-M3-Model-Converter
Kami telah merilis seluruh kode sumbernya.
Terima kasih
Sepertinya saya harus melihatnya lagi pelan-pelan haha