- Seperti token yang menunjukkan tingkat penggunaan AI, tugas (task) sebagai unit kerja data yang meningkatkan kemampuan model diperkirakan akan membentuk pasar besar untuk mengukur investasi AI
- Seiring data pembelajaran internet dan kemampuan sederhana serta umum mulai jenuh, data berkualitas tinggi yang mengajarkan pengetahuan tacit para ahli di lingkungan nyata muncul sebagai bottleneck bagi kemajuan model
- Tugas memberikan kondisi awal dan lingkungan kerja, lalu menilai hasil dengan sinyal penghargaan atau verifier, sehingga model dapat mempelajari prosedur kerja ahli yang sulit direproduksi hanya dari internet publik
- Pengeluaran data OpenAI dan Anthropic meningkat 10x setiap tahun, dan Mercor mencapai ARR US$1 miliar pada Februari lalu menembus US$2 miliar hanya dalam 4 bulan
- Karena hukum, medis, keuangan, software, dan sains masing-masing memerlukan dataset, sistem evaluasi, dan lingkungan reinforcement learning tersendiri, persaingan infrastruktur data antara lab AI, perusahaan aplikasi, dan perusahaan umum diperkirakan akan meluas
Ekonomi token yang mengukur pertumbuhan AI
- Token inferensi telah menjadi indikator utama untuk melacak pertumbuhan ekosistem AI
- Perusahaan publik mengungkapkan token yang diproses per bulan untuk menunjukkan laju pertumbuhan AI mereka
- Analis membandingkan penggunaan token per model seperti pada peringkat OpenRouter
- Eksekutif mengukur tingkat investasi dan adopsi AI dari penggunaan token seiring waktu
- Token mengabstraksikan proses penalaran yang kompleks menjadi satu unit pengukuran, sehingga berfungsi sebagai bahasa bersama untuk memahami ekspansi AI bahkan tanpa latar belakang teknis
- Pertumbuhan pengguna AI, peralihan dari model non-penalaran ke model penalaran, dan peralihan dari query ke agen semuanya mendorong kenaikan token
- Agen latar belakang dan agen tugas jangka panjang juga meningkatkan penggunaan token
- Saat perluasan adopsi dan intensitas token per model saling bertumpuk, total penggunaan meningkat cepat, dan investasi serta masuknya perusahaan terkonsentrasi ke pasar inferensi
- Tingginya visibilitas pasar inferensi juga membuat arus lain yang bisa tumbuh sebesar itu tetapi lebih sulit dipahami menjadi tertutupi
Munculnya ekonomi tugas
- Dalam 3 tahun terakhir, LLM berkembang dari tanya jawab dasar ke penalaran kompleks, lalu menjadi agen yang menjalankan pekerjaan nyata dalam jangka panjang
- Perbaikan model awal bergantung pada data internet dan sumber daya komputasi yang lebih besar, tetapi dua perubahan berikut membuat data berkualitas tinggi tambahan menjadi bottleneck
- Data baru yang bisa dipelajari dari internet mulai habis
- Kemampuan yang sederhana dan umum makin mendekati kejenuhan
- Ekonomi tugas berarti pasar yang menghasilkan dan memasok data yang dibutuhkan untuk peningkatan model lebih lanjut
Tugas sebagai unit peningkatan model
- Dalam reinforcement learning, tugas adalah unit latihan model
- Memberikan kondisi awal dan lingkungan tempat model bertindak
- Menilai tindakan model dengan sinyal penghargaan atau verifier
- Menggabungkan skor dari banyak tugas sebagai sinyal pembelajaran untuk menyesuaikan model ke arah tindakan yang mendapat skor tinggi
- Secara ketat, istilah ini merujuk pada fondasi pembelajaran pascaproses reinforcement learning, tetapi di sini digunakan sebagai unit yang mencakup seluruh peningkatan model berbasis data
- Karena industri terus menciptakan format data baru untuk peningkatan model, cakupan tugas juga terus meluas
- Pelabelan data tradisional mengingatkan pada bounding box atau penilaian suka/tidak suka untuk respons LLM, tetapi pasar saat ini telah berkembang menjadi pekerjaan yang lebih kompleks dan bernilai tinggi
Cara kerjanya dalam pekerjaan hukum
- AI yang dilatih dari internet publik dapat memahami konsep dasar hukum dan preseden yang dipublikasikan, tetapi data yang dibutuhkan untuk mereproduksi pekerjaan nyata pengacara yang kompeten tidak cukup tersedia di internet
- Untuk melatih pekerjaan hukum berkualitas tinggi, elemen berikut perlu digabungkan
- Prompt seperti meninjau kontrak atau menyusun argumen
- Lingkungan nyata yang relevan seperti data room hukum
- Verifikasi hasil berdasarkan kriteria seperti leaderboard agen pengacara korporat
- Tugas seperti ini mengajarkan model bukan hanya apa yang harus dilakukan, tetapi juga bagaimana melakukannya, dan semakin banyak tugas berkualitas tinggi, semakin meningkat pula kemampuan model
Struktur pertumbuhan yang sama antara token dan tugas
- Jika token adalah unit dasar inferensi dan penggunaan model, maka tugas dapat dilihat sebagai unit dasar peningkatan model
- Permintaan tugas meningkat seiring perluasan adopsi AI dan kenaikan kebutuhan data dari model terdepan
- Beralih dari label preferensi sederhana ke pekerjaan berbasis rubric yang dinilai oleh ahli berpengalaman
- Muncul agen spesialis per bidang setingkat ahli
- Agen menangani pekerjaan dengan rentang waktu yang lebih panjang
- Perusahaan mengadopsi sistem evaluasi dalam skala besar
- Faktor-faktor ini saling bertumpuk seperti pada pasar token inferensi, sehingga mendorong pertumbuhan cepat ekonomi tugas
Pengeluaran data dan sinyal pertumbuhan pasar
- OpenAI dan Anthropic meningkatkan pengeluaran data 10x setiap tahun sambil mengerahkan para ahli untuk membuat data dan materi pelatihan agen
- Beberapa perusahaan aplikasi AI utama dan perusahaan umum menilai data sebagai keunggulan kompetitif, lalu menaikkan pengeluaran terkait tugas individual menjadi lebih dari US$100 juta dalam waktu singkat
- Ini didasari pandangan bahwa AI aplikasi dengan strategi data terdiferensiasi dapat menghasilkan hasil lebih baik daripada model umum siap pakai
- Platform ekonomi tugas Mercor mencapai ARR US$1 miliar pada Februari, lalu mencatat ARR US$2 miliar hanya 4 bulan kemudian
- Agen yang mereproduksi pekerjaan di bidang tingkat lanjut masih berada pada tahap awal, dan ekspansi pengeluaran data perusahaan juga baru dimulai
- Dengan asumsi bahwa 99% pengetahuan manusia yang harus ditangani AI ada di dalam kepala manusia, cakupan peserta dan pembeli diperkirakan akan meluas saat lab AI, perusahaan aplikasi, dan perusahaan umum memindahkan pengetahuan tacit ke model dan agen
Mengapa pasar tugas sulit terlihat
- Alasan pertama tugas lebih jarang dibahas online dibanding token adalah karena pengeluaran selama ini terkonsentrasi pada lab AI terdepan yang sangat tertutup
- Lab hampir tidak pernah mengungkap strategi peningkatan model serta pengeluaran data dan tugas mereka
- Situasi mulai berubah karena perusahaan aplikasi AI dan perusahaan umum ikut masuk ke ekonomi tugas untuk membedakan diri dari model siap pakai
- Mereka lebih mungkin memasarkan aktivitas data mereka sendiri, sehingga dapat meningkatkan visibilitas pasar tugas
- Alasan kedua adalah belum adanya unit bersama yang secara sederhana mengabstraksikan nilai, seperti token pada pasar inferensi
- Jika tugas digunakan sebagai unit nilai standar, orang tanpa pengetahuan teknis pun dapat memahami seberapa besar industri berinvestasi untuk meningkatkan kemampuan AI
- Saat ini belum ada layanan seperti 'OpenRouter untuk tugas' yang menunjukkan skala dan laju pertumbuhan tugas secara real time
- Data jam kerja ahli triwulanan dari Mercor digunakan sebagai indikator tidak langsung yang menunjukkan pertumbuhan pasar
Membangun data untuk seluruh aktivitas ekonomi
- Untuk mengotomatiskan semua pekerjaan yang dilakukan di laptop dengan agen, perlu mencakup seluruh aplikasi, lingkungan, dan distribusi tugas di seluruh ekonomi
- Untuk itu diperlukan pembangunan data skala besar di seluruh profesi spesialis, bidang akademik, dan use case konsumen
- Hukum, medis, keuangan, software, dan sains masing-masing membutuhkan dataset yang dibuat oleh para ahli
- Sistem evaluasi dan lingkungan reinforcement learning per bidang juga harus disiapkan secara terpisah
- Lab AI, perusahaan aplikasi, dan perusahaan umum akan bersaing sambil memperluas infrastruktur data di seluruh pekerjaan yang berguna secara ekonomi
- Organisasi yang berhasil membangun infrastruktur data dapat terus meningkatkan kemampuan terdepan dan mengamankan pangsa pasar
- Jika ekonomi tugas semakin luas diadopsi dan makin terlihat, industri AI diperkirakan akan melacak skala tugas bersama token sebagai indikator pertumbuhan utama
Perbaikan algoritme dan cakupan pembahasan
- Kemampuan AI umum dapat meningkat bukan hanya melalui data tetapi juga melalui perbaikan algoritme model
- Pengecualian perbaikan algoritme di sini bukan untuk menyangkal kemungkinan masa depan, melainkan untuk membatasi cakupan pembahasan pada data dan ekonomi tugas
Belum ada komentar.