ChatLLaMA - implementasi open-source ChatGPT berbasis LLaMA

 (github.com/nebuly-ai)
15 poin oleh xguru 2023-03-02 | 1 komentar | Bagikan ke WhatsApp
  • LLaMA yang baru-baru ini dirilis oleh Meta tidak di-fine-tune untuk proses pelatihan RLHF
  • ChatLLaMA adalah implementasi RLHF menggunakan LLaMA, sebuah open-source lengkap untuk membangun layanan bergaya ChatGPT
  • Dapat dilatih sekitar 15 kali lebih cepat dibandingkan ChatGPT
  • Dukungan DeepSpeed ZERO tertanam untuk meningkatkan kecepatan proses fine-tuning
  • Mendukung semua varian LLaMA 7B, 13B, 33B, dan 65B sehingga bisa memilih ukuran yang sesuai

Bacaan terkait