Melatih ModernBERT yang 100 kali lebih kecil berdasarkan kemampuan penalaran DeepSeek R1

Dengan menggunakan label yang dibuat dari DeepSeek R1, model ModernBERT dapat dilatih untuk memprediksi apakah “sebuah makalah memperkenalkan dataset baru”. Model yang dibuat dengan cara ini dapat langsung digunakan, dan saat hanya melakukan inferensi di lingkungan layanan produksi, tidak memerlukan sumber daya besar seperti LLM. Meski demikian, karena untuk masalah klasifikasi yang membutuhkan label model ini secara tidak langsung mewarisi kemampuan penalaran LLM, tingkat akurasinya tetap cukup terjaga.

Khususnya dalam RAG, ketika pencocokan teks sederhana saja tidak cukup dan dibutuhkan tingkat penalaran tertentu, serta ketika label sangat kurang atau sulit dibuat, pendekatan melatih model ModernBERT berdasarkan label yang dihasilkan DeepSeek ini sangat berguna.