- Proyek AI generasi berikutnya milik OpenAI, GPT-5 (nama kode Orion), sedang mengalami penundaan jadwal dan menimbulkan biaya yang sangat besar
- GPT-5 menargetkan kemajuan besar pada teknologi yang memungkinkan ChatGPT, tetapi peluang keberhasilan dan jadwalnya tidak pasti
- Microsoft sebagai investor utama berharap peluncuran pada pertengahan 2024, namun berbagai masalah muncul dalam pengujian internal OpenAI
Status proyek dan biaya
- GPT-5 sudah menjalani dua kali pelatihan skala besar, dan setiap pelatihan menelan biaya ratusan juta dolar
- Model ini belum memenuhi performa yang diharapkan, dan saat ini performanya hanya sedikit lebih baik daripada GPT-4 yang ada
- CEO OpenAI Sam Altman menegaskan bahwa GPT-5 akan menghadirkan kemajuan yang terobosan
Data pelatihan dan masalah teknis
- Pelatihan LLM membutuhkan data dalam jumlah sangat besar, tetapi saat ini internet kekurangan data berkualitas tinggi yang memadai
- OpenAI mengadopsi metode menghasilkan data secara langsung melalui penyelesaian soal matematika, penulisan kode perangkat lunak, dan sebagainya
- Data sintetis (data yang dihasilkan AI) juga digunakan, tetapi proses pembuatan data sendiri berisiko menimbulkan kesalahan dan hasil yang tidak masuk akal
Masalah internal dan tekanan persaingan
- Konflik internal OpenAI serta upaya perekrutan talenta oleh para pesaing meningkat
- Lebih dari 24 personel kunci, termasuk salah satu pendiri Ilya Sutskever dan CTO Mira Murati, telah keluar
- Pesaing seperti Anthropic dan Google meluncurkan LLM yang lebih baik, sehingga persaingan makin ketat
Pendekatan baru: model penalaran
- OpenAI mengembangkan model penalaran baru untuk meningkatkan performa LLM
- Menyadari keterbatasan pendekatan lama yang hanya memperbesar skala data
- Model o1 menghasilkan beberapa jawaban untuk satu pertanyaan lalu menganalisisnya untuk memilih jawaban terbaik
- Model ini dapat menyelesaikan masalah kompleks, menjelaskan proses jawabannya, dan belajar darinya
Trade-off biaya dan performa
- Model berbasis penalaran meningkatkan performa dibanding metode lama, tetapi bebannya pada biaya sangat tinggi
- Biaya komputasi meningkat karena harus menghasilkan beberapa jawaban untuk satu pertanyaan
- Para peneliti berupaya menggabungkan model penalaran dengan pendekatan lama yang berpusat pada data untuk menyiapkan fondasi GPT-5
Tantangan industri dan kekurangan data
- Industri AI semakin menghadapi masalah kekurangan data dan berbagai keterbatasan
- Seperti analogi bahwa data adalah "bahan bakar fosil AI", situasinya kini membuat tambahan data berkualitas tinggi semakin sulit diperoleh
- Jika pengembangan GPT-5 terhenti, muncul pula kemungkinan bahwa peningkatan AI akan stagnan
Kesimpulan
- OpenAI sedang mengalami kesulitan dalam proyek Orion akibat masalah teknis, keuangan, dan sumber daya manusia
- Model penalaran baru sedang dieksplorasi sebagai kemungkinan terobosan baru bagi perkembangan AI
- Namun, perilisan model yang layak diakui sebagai GPT-5 masih tetap tidak pasti
7 komentar
Seperti perusahaan petrokimia yang memurnikan minyak menjadi bensin, solar, dan sebagainya,
mungkin juga bisa ada model bisnis di mana perusahaan pemurnian data merapikan data mentah menjadi lebih tertata.
Misalnya, file Excel dan PPT prosedur operasi standar yang menumpuk tak terhitung banyaknya di dalam perusahaan dibersihkan lalu dipakai untuk fine-tuning GPT?
Sepertinya ini batas yang sudah diperkirakan, dan saya juga agak merasa akan menarik kalau arahnya dibelokkan ke sisi yang mengenali dan berpikir sendiri
Membicarakan soal apakah ada penundaan pengembangan atau tidak ketika sebenarnya belum ada roadmap atau tolok ukur yang benar-benar ditetapkan, kemungkinan besar ini juga cuma bocoran informasi bernuansa pemasaran.
o1 bukan model berbasis MCTS atau pencarian, melainkan model yang memperluas CoT dengan RL.
Menghasilkan beberapa jawaban -> pada bagian ini, bukan berarti beberapa jawaban dihasilkan secara paralel lalu dipilih satu di antaranya
melainkan seperti yang Anda sampaikan, jawaban dihasilkan secara berurutan dengan CoT sampai dinilai sudah menjadi jawaban yang tepat, lalu menghasilkan jawaban terbaik..
Saya juga jadi berpikir mungkin ini salah terjemahan dalam proses penerjemahan, tetapi saya tidak tahu karena sulit memeriksa teks aslinya..
Sepertinya wartawannya memahami ini sebagai metode menghasilkan beberapa jawaban lalu memilih salah satunya.
Opini Hacker News
Seiring meningkatnya biaya pelatihan model, waktu yang dibutuhkan untuk training juga menjadi lebih lama. Alasan model yang lebih kecil bisa berinovasi lebih cepat adalah karena loop umpan baliknya lebih pendek
Penjelasan tentang pengembangan GPT-4 oleh OpenAI tidak cukup memberi kepercayaan pada artikel tersebut
Disebutkan bahwa LLMs tampaknya telah mencapai batas di mana kemajuan tidak lagi bisa dicapai hanya dengan menambah data dan daya komputasi. Diperlukan ide-ide baru, dan pendanaan untuk itu sudah cukup tersedia
Tingkat kemampuan LLM saat ini akan jauh lebih berguna jika bisa memberikan indikator keandalan yang konservatif. Perlu ada output seperti "tidak tahu" atau "tidak yakin, tetapi..."
Yang lebih penting daripada rilis OpenAI berikutnya adalah bagaimana industri perangkat lunak mengintegrasikan teknologi ini dan mewujudkan nilainya
Yang bisa diduga dari pernyataan orang dalam adalah bahwa mereka menginginkan peningkatan 10x melalui scaling, serta perubahan pada data dan algoritme. Sumber data publik hampir habis, sementara perubahan algoritme terus menghasilkan peningkatan lewat riset
GPT-5 tidak tertunda; ia sebenarnya sudah dirilis setengah tahun lalu sebagai GPT-4o. Karena tidak cukup revolusioner, model itu tidak dinamai 5 dan kemungkinan di-rebrand pada saat terakhir
Disebutkan bahwa jurnalisme teknologi dibesar-besarkan, dan meskipun o3 sudah dirilis, artikel-artikel kritis masih terus muncul
o1-Pro secara subjektif jauh lebih unggul daripada GPT-4, dan o3 dinilai lebih baik lagi. Ini mengisyaratkan bahwa teknologinya berkembang pesat
Dunia sedang mempelajari bagaimana teknologi ini bisa bekerja dengan tepat, sehingga anggapan bahwa jadwalnya tertunda terasa hampir seperti komedi