- Seluruh source code, bobot model, dan dataset pelatihan dirilis dengan lisensi Apache-2.0
- 4 komponen utama
- Instruction-Tuned LLM yang di-fine-tune dari GPT-NEOX-20B dengan 43 juta set instruksi
- Customization Recipe yang dapat di-fine-tune sesuai kebutuhan tugas sendiri
- Extensible Retrieval System yang dapat mengambil informasi dari sumber yang bisa diperbarui secara real-time saat runtime inferensi, seperti repo dokumen dan API, untuk memperkaya respons
- Moderation Model yang dirancang agar bot memfilter pertanyaan yang akan dijawab, dengan fine-tuning pada GPT-JT-6B
- Kolaborasi LAION dan Ontocord: dataset OIG (dirilis terpisah) yang mencakup 43 juta instruksi
Belum ada komentar.