- CEO OpenAI Sam Altman mengatakan bahwa strategi riset yang melahirkan ChatGPT kini tidak lagi efektif, dan ide-ide baru diperlukan untuk kemajuan masa depan kecerdasan buatan
- OpenAI membuat model bahasa seperti GPT-4 dengan memperluas algoritme machine learning yang sudah ada, tetapi ke depan kemajuan akan sulit dicapai hanya dengan terus memperbesar ukuran model
- Pengembangan GPT-4 menelan biaya lebih dari 100 juta dolar, dan perluasan pusat data juga dibatasi oleh keterbatasan fisik
- Arah riset AI setelah GPT-4
- Nick Frosst, salah satu pendiri Cohere, juga setuju bahwa hanya memperbesar ukuran model memiliki batas
- Desain model AI baru (arsitektur) dan fine-tuning melalui umpan balik manusia dapat menjadi arah riset yang menjanjikan
- Proses perkembangan model seri GPT
- GPT-2 yang diumumkan pada 2019 adalah model besar dengan 1,5 miliar parameter
- Pada 2020, GPT-3 meningkat drastis menjadi 175 miliar parameter, dan hal ini mendorong perusahaan serta lembaga riset lain untuk mengembangkan model dengan ukuran serupa
- Ukuran pasti GPT-4 tidak diungkapkan, tetapi diperkirakan bahwa selain sekadar memperbesar skala, teknik seperti reinforcement learning melalui umpan balik manusia juga digunakan
- Dampak sosial dan kontroversi akibat kemunculan GPT-4
- Kemampuan GPT-4 yang mengejutkan membuat para ahli takjub, sekaligus memunculkan kekhawatiran bahwa AI dapat mengubah perekonomian dan menghilangkan lapangan kerja
- Beberapa ahli dan pengusaha, termasuk Elon Musk, merilis surat terbuka yang meminta penghentian selama 6 bulan terhadap pengembangan AI yang lebih kuat daripada GPT-4
- CEO Altman menyatakan bahwa saat ini OpenAI tidak sedang mengembangkan GPT-5, dan tidak berencana melakukannya untuk sementara waktu
Opini GN⁺
- Pengembangan model bahasa besar seperti GPT-4 membutuhkan biaya dan sumber daya komputasi yang sangat besar, sehingga sulit untuk terus memperluasnya secara berkelanjutan dalam praktik. Karena itu, seperti pernyataan CEO Altman, tampaknya perlu mencari arah riset baru
- Berbagai teknik untuk meningkatkan performa model, seperti reinforcement learning melalui umpan balik manusia, sedang diteliti, sehingga kemajuan AI diperkirakan akan datang bukan dari sekadar memperbesar ukuran model, melainkan dari inovasi pada algoritmenya sendiri
- Munculnya model AI yang kuat seperti GPT-4 diperkirakan akan membawa perubahan besar di seluruh masyarakat, sehingga selain pengembangan teknologi, juga diperlukan upaya untuk mencari konsensus sosial atas persoalan etika dan hukum yang menyertainya
- Seiring pesatnya perkembangan teknologi AI, kekhawatiran tentang dampak samping seperti penggantian pekerjaan memang muncul, tetapi pada saat yang sama juga ada peluang untuk menciptakan pekerjaan baru dan meningkatkan produktivitas, sehingga perlu dicari langkah penanganan dari perspektif jangka panjang
- Karena startup kecil dan menengah tampaknya tidak mudah memiliki daya saing dalam pengembangan model AI besar, perlu dipertimbangkan model bisnis baru seperti inovasi di bidang khusus atau penyediaan platform pengembangan
2 komentar
Ini adalah artikel wawancara dari April tahun lalu. Karena ini sudah dari setahun yang lalu, ada cukup banyak hal yang sekarang tidak lagi sesuai.
Saat membaca ringkasannya, saya sempat berpikir ini membahas cerita dari zaman kapan, ternyata ini artikel dari 1 tahun lalu hahaha