Kondisi Terkini Model Bahasa Open Source

• Semakin memanas setelah peluncuran LLaMA 2
  • Hampir semua grup model open source memperbarui model mereka dengan model dasar baru
    • WizardLM, Airoboros, Hermes, dll.
  • Model paling kuat saat ini adalah Stable Beluga 2 dari StabilityAI
    • Menyempurnakan model Llama2 70B dengan fine-tuning pada dataset bergaya Orca
    • Dapat dibandingkan dengan ChatGPT
• Model long-context
  • LLaMA 7B 16K, LLaMA 13B 16K, LLaMA 7B 32K
• Model kecil tetapi kuat
  • Model parameter 3B yang sekuat 7B
  • Batasnya masih belum tercapai, dan masih banyak ruang untuk berkembang
  • SlimPajama, SwiGLU, ALiBI, Variable Sequence Length, Maximal update parameterization (muP)
• Model terbuka mengalahkan ChatGPT di MMLU: llama-2-70b-guanaco-qlora
• Chat multi-turn: llama2-13b-orca-8k-3319
• Model-model Tiongkok sedang bersaing: CodeGeex2
• Apakah model terbuka sudah mencapai level ChatGPT?
  • Belum, tetapi mungkin akan segera mencapainya

[botplaysdice]

Sepertinya kekhawatiran tentang monetisasi—bagaimana menghasilkan uang dari peran masing-masing—akan makin besar.

[geekbini]

Sekarang ada begitu banyak layanan AI sehingga jadi bingung memilih, mulai dari layanan AI serbaguna sampai layanan AI yang dikhususkan untuk developer juga~

[kuroneko]

Semoga model bahasa Korea juga berkembang.