Membangun sLLM khusus domain pemerintah — chatbot RAG yang melakukan fine-tuning Gemma-3-1B dengan data Kementerian Pertanahan, Infrastruktur, dan Transportasi

Membangun sLLM khusus domain pemerintah — molit-gemma + RAG

Ini adalah contoh pembangunan chatbot khusus domain secara on-premise di lingkungan keamanan publik yang sulit menggunakan LLM eksternal seperti ChatGPT/Claude.

TL;DR

• Fine-tuning Google Gemma-3-1B dengan dokumen kebijakan Kementerian Pertanahan, Infrastruktur, dan Transportasi → molit-gemma
• Mengurangi halusinasi dengan RAG berbasis OpenSearch
• BLEU 0.6258, LLM-as-a-Judge 4.34/5.0
• Deployment sepenuhnya on-premise (API eksternal 0)

Mengapa sLLM

• Respons pengaduan warga di pemerintahan berisiko mengalami kebocoran data saat memanggil API eksternal
• Model kelas 70B membebani infrastruktur GPU → dilengkapi dengan model 1B + RAG
• Fine-tuning khusus domain memberikan akurasi lebih baik daripada LLM umum

Arsitektur

Pertanyaan pengguna → pencarian OpenSearch → dokumen kebijakan Top-K → respons dibuat oleh molit-gemma → kutipan sumber

Implikasi

• Menyajikan baseline empiris untuk kombinasi sLLM + RAG di sektor publik
• Bahkan model 1B dapat mencapai tingkat praktis jika domainnya dibatasi
• Mengurangi halusinasi + memastikan kemampuan penjelasan

Tautan

• Makalah (RISS): https://www.riss.kr/link?id=T17378943
• Model (Hugging Face): https://huggingface.co/chohi/gemma-molit-finetuned/blob/main/README.md
• Kode (GitHub): https://github.com/chohi22/Industrial-AI/…