LIMA - Mencapai performa mendekati GPT-4 hanya dengan model LLaMA 65B dan 1000 prompt

• "Less Is More for Alignment"
• Model LLaMA yang di-fine-tune hanya dengan 1000 prompt yang dikurasi dengan baik, tanpa reinforcement learning maupun pemodelan preferensi
• Pada 43% kasus, setara dengan atau lebih disukai daripada GPT-4; 58% saat dibandingkan dengan Bard, dan 65% lebih tinggi dibanding DaVinci003 yang dilatih dengan umpan balik manusia
• Hipotesis makalah ini adalah bahwa hampir seluruh pengetahuan LLM dipelajari selama pretraining, dan alignment adalah proses sederhana untuk mempelajari format/gaya dalam berinteraksi dengan pengguna
• Makalah baru dari Meta AI

[merong]

Proyek Sejong seharusnya terus dilanjutkan sehingga data model bahasa Korea bisa diakumulasikan sebagai open source. Benar-benar proyek yang sangat disayangkan...

[kuroneko]

Performa bahasa Inggris berkembang secepat ini, tapi sayangnya sebagian besar model selain GPT masih belum bagus dalam bahasa Korea...

[dulco]

Pembelajaran bahasa Korea Claude dari Anthropic sudah berada di tingkat yang cukup tinggi, tetapi kemampuan ekspresinya masih agak berbeda dibandingkan ChatGPT.

[test4458]

huhu benar. Untuk bahasa Korea, selain GPT API semuanya memang berada di level sampah...