OpenAI, Google, dan Anthropic berjuang keras untuk mengembangkan AI yang lebih maju

• Perusahaan AI utama seperti OpenAI, Google, dan Anthropic semakin memperoleh hasil yang lebih sedikit dalam pengembangan model baru
• OpenAI melatih model AI terbarunya, Orion, tetapi hasilnya tidak mencapai performa yang diharapkan
  • Khususnya, model ini mengalami masalah dalam menjawab pertanyaan pemrograman dengan baik
• Gemini milik Google juga menunjukkan hasil yang tidak memenuhi ekspektasi internal, sementara Anthropic mengalami penundaan jadwal peluncuran Claude 3.5 Opus yang baru

Batasan data dan masalah biaya

• Semakin sulit untuk memperoleh data berkualitas tinggi yang ditulis manusia
• Performa model AI mengalami stagnasi, dan peningkatan kecil sulit membenarkan biaya yang sangat besar
• Orion milik OpenAI disebut terkendala salah satunya karena tidak berhasil mengamankan cukup banyak data pemrograman
• Pengembangan model AI baru memerlukan biaya jutaan dolar, dan ke depan diperkirakan akan mencapai miliaran dolar

Strategi peningkatan performa AI

• OpenAI berfokus pada proses post-training sebelum peluncuran Orion. Ini mencakup peningkatan respons model melalui umpan balik pengguna dan penyesuaian nada interaksi
• Untuk mengatasi masalah kekurangan data, perusahaan mendapatkan data melalui kontrak dengan penerbit atau menggunakan metode pelabelan data oleh para ahli
• Penggunaan synthetic data juga meningkat, tetapi masih ada keterbatasan dalam memperoleh data yang unik dan berkualitas tinggi

Keraguan terhadap scaling laws AI

• Industri AI selama ini mengandalkan scaling laws, yakni keyakinan bahwa model yang lebih besar dan lebih banyak data akan membawa peningkatan performa, tetapi hasil terbaru mulai menimbulkan keraguan
• CEO Anthropic, Dario Amodei, optimistis bahwa kekurangan data bisa menjadi masalah, tetapi cara untuk mengatasinya akan ditemukan

Masalah keseimbangan antara biaya dan performa

• Ketika biaya pengembangan AI melonjak tajam, biaya tinggi menjadi masalah jika performa model baru tidak meningkat sesuai harapan
• OpenAI dan Anthropic mulai mengalihkan fokus dari model yang lebih besar ke use case baru seperti AI agent
  • Agent dapat melakukan tugas seperti mengirim email atau memesan tiket pesawat atas nama pengguna
• CEO OpenAI Sam Altman menyebut bahwa diperlukan keputusan-keputusan sulit dalam penggunaan sumber daya komputasi
  • Ia menjelaskan dalam AMA Reddit, "Kami akan terus merilis model baru yang hebat, tetapi terobosan besar berikutnya adalah agent"

Kesimpulan

• Perusahaan AI utama menggunakan semakin banyak daya komputasi dan data, tetapi hasilnya mengalami stagnasi
• Untuk mengatasi keterbatasan teknis dan masalah kekurangan data, mereka sedang mencari pendekatan dan use case baru
• Arah pengembangan AI ke depan semakin besar kemungkinannya akan berfokus pada kasus penggunaan nyata daripada ukuran model

[kandk]

Pada akhirnya, ini berarti biayanya memang terlalu besar.
Secara pribadi, saya rasa ada upside sebesar jumlah neuron di otak.

[GN⁺]

Opini Hacker News

• Ada pertanyaan apakah semua opsi untuk memberikan nilai berbasis LLM (model bahasa besar) saat ini sudah habis. Seseorang yang memimpin sebuah tim berpikir bahwa jalan yang harus ditempuh masih panjang

  • Ia terutama menggunakan model GPT-4o dan Claude 3.5, dan kemungkinan aplikasi baru terus bermunculan melalui kombinasi investasi teknis dan LLM
  • Misalnya, dengan menggabungkan knowledge graph yang dikurasi manusia dan LLM, dimungkinkan untuk membuat "bot ahli" yang memahami konteks bisnis dan bertindak seperti rekan satu tim
  • Jika ditambahkan kemampuan prediksi dan simulasi, LLM dapat menghasilkan perubahan kode yang masuk akal serta meninjau dan mengulanginya secara otomatis
  • Ia berpendapat bahwa memanfaatkan kecerdasan yang ada saat ini lebih penting daripada mengejar peningkatan model

• Di bidang engineering, selama 3 tahun terakhir fokus tertuju pada perluasan pre-training dan post-training model transformer

  • Sebagai paradigma baru, pelatihan multimodal dan agen implementasi yang mencakup robot mulai mendapat sorotan
  • OpenAI, Google, dan Anthropic juga berinvestasi dalam riset robotika

• Fitur pembuatan kode ChatGPT dapat menemukan sesuatu yang mirip dengan kode yang sudah ada di web

  • LLM menyediakan fungsi pencarian dan copy/paste, dan ini cukup untuk menyelesaikan masalah umum
  • Namun, AGI tidak akan muncul hanya dengan LLM saja
  • Diperlukan indikator kepercayaan diri untuk LLM, dan ini akan jauh lebih berguna daripada LLM saat ini

• Kabar baiknya, perkembangan AI telah mencapai batas data sehingga tekanan bergeser ke arah pengembangan arsitektur model yang lebih baik

  • Para peneliti AI sedang mencari model yang lebih baik

• Judul-judul negatif yang menyebut AI telah menabrak tembok mirip dengan saat internet pertama kali muncul

  • Ada yang berpikir bahwa 10 tahun lagi AI akan terhubung secara mendalam dengan setiap aspek kehidupan

• Teknologi yang ada telah membawa perubahan besar pada industri, dan dibutuhkan waktu untuk beralih ke model hibrida AI dan manusia

• Model terbaru OpenAI tidak memenuhi harapan, tetapi masih dapat tumbuh secara linear sesuai ukuran data pelatihan

• Muncul pertanyaan apakah bisa membeli perangkat lunak AI dan menambahkan kemampuan yang membantu pengguna membaca dokumen sendiri serta menulis versi baru dari aplikasi