PaLM - Pathways Language Model 540B parameter yang dirilis oleh Google AI

• Model dengan 540B parameter, 3 kali lebih besar dibanding GPT-3 (175B)
• Pelatihan dilakukan menggunakan TPU v4
• Dengan model yang lebih besar, lebih banyak task yang bisa ditangani (soal matematika, penjelasan, pembuatan kode, dll.)

Tulisan terkait

• Mencoba menanyakan operasi hitung dasar kepada GPT-NeoX-20B

[kunggom]

Sepertinya Google ingin menggabungkan hal seperti ini dengan robot, agar kecerdasan buatan juga bisa belajar tentang dunia fisik di dunia nyata.
https://say-can.github.io/
https://arxiv.org/abs/2204.01691

[xguru]

• Ke mana arah model AI NLP berukuran sangat besar?
• GPT-3 kini bukan lagi satu-satunya di pasar
• Laporan AI Index 2022

[laeyoung]

Sepertinya tren bahwa model AI semakin besar semakin baik masih terus berlanjut.