Detail GPT-4 Bocor?

• Kemungkinan detail GPT-4 bocor
• Informasi yang bocor menunjukkan GPT-4 tampaknya akan memiliki fitur canggih
• GPT-4 diperkirakan akan memiliki kemampuan pemrosesan dan pemahaman bahasa alami yang lebih baik
• Detail yang bocor juga menyebutkan peningkatan pemahaman konteks dan kemampuan penalaran
• GPT-4 dikabarkan akan memiliki ukuran model yang lebih besar, yang dapat berkontribusi pada peningkatan performa
• Informasi yang bocor memicu ketertarikan di kalangan orang-orang yang melek teknologi
• Artikel ini membahas potensi dampak GPT-4 terhadap berbagai industri dan bidang aplikasi
• Belum diketahui kapan GPT-4 akan dirilis secara resmi
• Detail yang bocor memicu spekulasi dan ekspektasi di kalangan software engineer dan penggemar teknologi

[GN⁺]

Opini Hacker News

• Sumber asli detail GPT-4 yang bocor adalah postingan blog di semianalysis.com.
• Pengguna Twitter yang membagikan detail tersebut tampaknya hanya memparafrasekan postingan blog itu, dan karena itu cuitannya dihapus.
• MoE (Mixture of Experts) yang digunakan pada GPT-4 menarik dan bisa menjelaskan variasi kualitas output.
• Model visi GPT-4 belum dipublikasikan, tetapi menimbulkan ekspektasi.
• Pelatihan GPT-4 membutuhkan 21 yottaflops, yang merupakan pencapaian komputasi yang sangat besar.
• Biaya pelatihan GPT-4 turun menjadi 1/3 dibanding tahun lalu, yang merupakan kabar baik bagi open source.
• Ada spekulasi bahwa kualitas GPT-4 menurun karena menerima urutan dengan probabilitas rendah dari model speculative decoding.
• Google sedang meneliti mixture of experts untuk penskalaan model bahasa, dan model GLaM memiliki 1,7 triliun parameter serta 64 expert.
• George Hotz menyebutkan dalam sebuah wawancara bahwa GPT-4 memiliki 220 miliar parameter dan merupakan 16 model campuran yang terdiri dari 8 set bobot.
• Ada rasa penasaran apakah layanan premium seperti Thread Reader masih bisa beroperasi mengingat harga API Twitter yang tinggi.
• Beberapa pengguna mencari tautan alternatif untuk mengakses detail pelatihan GPT-4 yang bocor tanpa harus mendaftar ke Twitter.
• Satu-satunya orang yang benar-benar mengetahui cara kerja GPT-4 adalah karyawan OpenAI; yang lain hanya bisa mengandalkan spekulasi.