OPT - Model bahasa berskala GPT-3 (175B) yang dirilis Meta

"Open Pre-trained Transformer Language Model"

• Model bahasa berskala besar seperti ini memerlukan modal yang sangat besar untuk dibangun, dan sulit diteliti jika hanya akses API yang dibuka
• Untuk para peneliti yang tertarik, seluruh model, kode eksperimen, dan logbook dirilis agar dapat diunduh
• Memerlukan Carbon Footprint hanya 1/7 dibandingkan GPT-3

[xguru]

https://github.com/facebookresearch/metaseq