Meta, sudah mulai mengerjakan Llama 4. Daya komputasi yang dibutuhkan 10 kali Llama 3

• Disebutkan oleh Mark Zuckerberg dalam pengumuman earnings call Q2 2024
• Llama 3 sudah bersaing dengan model-model paling maju, dan pengembangan Llama 4 sudah dimulai
  • Targetnya adalah mencapai level terbaik di industri tahun depan
• Sedang menyusun rencana untuk klaster komputasi dan data yang dibutuhkan dalam beberapa tahun ke depan
  • Daya komputasi yang dibutuhkan untuk melatih Llama 4 diperkirakan hampir 10 kali lebih besar daripada Llama 3, dan model-model di masa depan akan terus meningkat melampaui itu
  • Sulit untuk memprediksi bagaimana tren ini akan berlanjut, tetapi pada saat ini, mengingat panjangnya lead time yang dibutuhkan untuk menjalankan proyek infrastruktur baru, mereka menilai lebih baik membangun kapasitas sebelum benar-benar dibutuhkan daripada terlambat
  • Sambil memperluas investasi ini, perusahaan akan tetap menjaga efisiensi operasional di seluruh organisasi

[brainer]

DL pada dasarnya memang mengalami peningkatan computing resource rata-rata 10 kali lipat setiap 2 tahun, jadi menurut saya ini bukan hal yang terlalu mengejutkan.