Rumor tentang GPT-4

• GPT-4 hampir siap dan dijadwalkan rilis antara Desember hingga Februari
• Mungkin akan lolos uji Turing
• Sangat besar dan sparse (tidak semua neuron aktif pada saat yang sama)
  • Membandingkan ukurannya tidak terlalu bermakna
  • Menurut saya, sparsity adalah masa depan AI
• Multimodalitas yang memungkinkan input teks, audio, gambar, dan video
  • Ini juga masa depan AI. Bukan hanya karena otak kita seperti itu, tetapi juga karena dunia bersifat multimodal
• Biaya pelatihan jauh lebih murah daripada GPT-3, yaitu $.e6($1~10M)
  • Ini berarti OpenAI telah menemukan cara untuk menurunkan biaya