BloombergGPT - Model bahasa besar untuk keuangan

• Model bahasa dengan 50 miliar (50B) parameter yang dilatih dengan data keuangan berskala luas
• Menyusun dataset berisi 363 miliar token berbasis sumber data Bloomberg, lalu memperkuatnya dengan 345 miliar token dari dataset umum
• Tidak menunjukkan penurunan performa pada benchmark LLM umum, dan pada tugas-tugas keuangan menunjukkan performa yang jauh lebih unggul dibanding model sebelumnya
• Juga menjelaskan pilihan pemodelan, proses pelatihan, dan metodologi evaluasi
• Langkah berikutnya adalah berencana merilis training log (chronicle) yang membahas secara rinci pengalaman pelatihan BloombergGPT