- Hasil fine-tuning reinforcement learning pada model open-source 9B untuk pemeriksaan katalog e-commerce dengan biaya sekitar $500 mencatat skor lebih tinggi daripada semua konfigurasi model frontier yang memakai alat, gambar, dan penilai yang sama
- Dalam digital twin yang dibuat dari 177.767 episode pemeriksaan, model berulang kali melakukan klasifikasi produk, verifikasi merek, ekstraksi atribut, dan penentuan kebijakan, sehingga taksonomi dan kriteria penilaian khas perusahaan dipelajari ke dalam bobot model
- Model yang dilatih dengan GRPO mencatat 87,3% dari skor maksimum yang dapat dicapai, relatif 13,5% lebih tinggi daripada 76,9% konfigurasi frontier terbaik, dan naik 36% dari 64,2% model dasar yang belum dilatih
- Biayanya sekitar $0,50 per 1.000 produk, 40 kali lebih murah daripada konfigurasi frontier termurah dan sekitar 340 kali lebih murah daripada konfigurasi termahal; pada skala 40 juta kasus per hari, selisihnya sekitar $7 juta vs $500 juta per tahun
- Cocok untuk pekerjaan berulang berskala besar yang hasilnya dapat diverifikasi dengan aturan, pengujian, dan rubrik; fakta yang berubah perlu ditempatkan di alat pencarian, sementara cara penilaian khas perusahaan perlu dilatih ke dalam model
Cara operasi yang menentukan hasil investasi AI
- Sejak peluncuran ChatGPT, pemanfaatan AI meluas dari pekerjaan berisiko rendah seperti meringkas dokumen dan membuat draf email ke pengembangan software, pembuatan konten, serta konsep company brain yang menghubungkan pengetahuan, data, dan alat internal
- Dalam data pelanggan Ramp, perusahaan di 25% teratas pengeluaran AI meningkatkan pendapatan lebih dari 2 kali lipat dari November 2022 hingga Desember 2025, sementara perusahaan tanpa pengeluaran AI tumbuh sekitar 15% pada periode yang sama
- Organisasi yang menghasilkan dampak berulang kali menunjukkan cara operasi berikut
- Desain ulang alur kerja: tidak cukup hanya menambahkan model ke prosedur lama; titik persetujuan, peninjauan, serah terima, dan intervensi manusia harus dirancang ulang
- Dalam survei McKinsey tahun 2025 terhadap organisasi pengguna AI generatif, desain ulang alur kerja memiliki korelasi tertinggi dengan dampak EBIT, tetapi hanya 21% organisasi yang benar-benar mendesain ulang setidaknya satu alur kerja
- Mendorong eksperimen: karena model, alat, dan praktik terbaik berubah cepat, organisasi perlu memberi penghargaan bukan hanya untuk peluncuran yang sukses, tetapi juga untuk eksperimen dan berbagi kegagalan
- Konteks kerja yang disesuaikan: akses data, kontrol akses per permintaan, pencarian bukti yang relevan, dan pengelolaan context window yang makin tidak merata pemanfaatannya saat makin panjang menjadi tugas engineering tersendiri
- Mengukur penggunaan dan dampak: tanpa evaluasi penilaian atas data sendiri, sulit membuktikan performa, biaya pengambilan keputusan, dan dampak efisiensi; angka penghematan waktu berbasis laporan mandiri juga bisa tidak akurat
- Desain ulang alur kerja: tidak cukup hanya menambahkan model ke prosedur lama; titik persetujuan, peninjauan, serah terima, dan intervensi manusia harus dirancang ulang
Cara deployment untuk “memiliki kecerdasan”
- Pola yang berulang adalah penggunaan model open-source, data kerja khas perusahaan, dan reinforcement learning pada alur kerja yang bisa dinilai
- Model frontier digunakan untuk memastikan kemungkinan automasi dan menetapkan baseline awal
- Selama pemanggilan, input, keputusan, dan catatan koreksi terkumpul, lalu menjadi data pelatihan untuk model spesialis
- Setelah melewati prototipe dan masuk ke operasi massal, biaya per panggilan dan performa menjadi prioritas
- Model frontier dan model spesialis tidak sepenuhnya saling menggantikan
- Model serbaguna seperti ChatGPT atau Claude dapat menyerahkan bagian yang membutuhkan pengetahuan internal kepada model spesialis
- Model spesialis juga dapat memanggil model frontier untuk tugas yang membutuhkan kemampuan umum tinggi
- Model bekerja dengan alat dan data perusahaan, rubrik menilai hasil, dan sinyal reward memperbarui model
- Setelah puluhan ribu tugas diulang, penilaian kerja tertanam di bobot
- Fakta yang berubah seperti harga, stok, dan dokumen kebijakan tetap dipertahankan di alat
Contoh deployment nyata model spesialis
- Bridgewater Associates melatih model open-source dengan label dari investor spesialis untuk menilai apakah artikel, dokumen keterbukaan, dan email relevan dengan tesis investasi, serta di mana bahasa klise mulai muncul
- Prompt saja tidak mampu mencerminkan kriteria penilaian internal secara stabil
- Model terlatih memiliki kesalahan sekitar 30% lebih sedikit daripada model frontier terbaik, dengan biaya inferensi lebih rendah
- Harvey menerapkan model open-weight dan reinforcement learning pada pekerjaan yang kesalahannya menumpuk dalam banyak tahap, seperti due diligence transaksi dan penyusunan memo hukum
- Dalam rubrik internal, agen hukumnya mengungguli GPT-5.5 dan Claude Opus 4.8
- Intercom Fin Apex dilatih lanjutan dengan miliaran interaksi layanan pelanggan untuk memperbaiki biaya per panggilan dan tingkat penyelesaian pada skala sekitar 2 juta masalah pelanggan per minggu
- Intercom menyatakan model ini menyelesaikan lebih banyak masalah daripada model frontier terbaik sekaligus menurunkan biaya operasional
- Proses deployment yang umum adalah membuat baseline dengan model frontier yang prompt dan konteksnya dioptimalkan, lalu memindahkan catatan eksekusi dan pembelajaran ke model kecil yang dimiliki perusahaan
Masalah integritas katalog dan biaya
- Katalog e-commerce harus menempatkan setiap produk ke taksonomi yang benar dan mengekstrak atribut dari gambar serta deskripsi secara akurat untuk pencarian, filter, rekomendasi, dan operasi lanjutan
- Penilaian yang salah menurunkan ketercarian produk dan kualitas rekomendasi, serta membuat pelanggaran kebijakan terlewat
- Jika barang palsu terlewat, pelanggan dan merek terekspos pada penipuan
- Jika produk normal terlalu sering ditandai, antrean peninjauan dan ketidaknyamanan penjual meningkat
- Skala pekerjaannya juga besar
- eBay memiliki sekitar 2,5 miliar listing aktif
- Katalog Shopify menerima lebih dari 10 juta pembaruan produk per hari
- Walmart memperkirakan pekerjaan katalog berbantuan AI akan membutuhkan sekitar 100 kali lebih banyak tenaga kerja jika dilakukan hanya oleh manusia
- 71% konsumen menjawab pernah mengembalikan barang karena produk sebenarnya berbeda dari informasi listing
- Jika marketplace skala menengah memproses sekitar 10 juta pembuatan dan perubahan produk per hari, pemeriksaan berbasis model frontier diperkirakan memakan biaya sekitar $500 juta per tahun, sementara model spesialis yang di-fine-tune sekitar $10 juta
- Shopify menggunakan model terbuka yang di-fine-tune untuk menjalankan sekitar 40 juta inferensi klasifikasi produk per hari karena API komersial sulit ditanggung secara ekonomis
Pekerjaan agen pemeriksa katalog
- Saat meninjau produk, agen menelusuri taksonomi, memverifikasi merek, mengambil skema atribut untuk kategori tersebut, lalu menetapkan keputusan terstruktur
- Jika bukti tidak cukup atau risikonya tinggi, agen meneruskan ke peninjauan manusia
- Contoh sarung tangan kerja diproses dengan urutan berikut
- Mencari kategori
Safety Work Glovesdengansearch_taxonomy - Memastikan dengan
lookup_brandbahwa AmazonBasics terdaftar tetapi tidak dilindungi - Mengambil atribut merek, warna, bahan, dan ukuran dengan
get_attribute_schema - Menetapkan keputusan
allowedbersama klasifikasi dan atribut
- Mencari kategori
- Biaya melewatkan pelanggaran nyata ditetapkan 7 kali lebih tinggi daripada false positive, sehingga kedua kesalahan dipelajari secara asimetris
Digital twin untuk pelatihan
- Dengan gambar produk dan informasi listing nyata dari Amazon Berkeley Objects, dibangun 177.767 episode pemeriksaan
- Setiap episode mencakup gambar, judul, deskripsi, merek yang diklaim, dan wilayah
- Pelanggaran kebijakan yang terkontrol, gambar yang tidak cocok, klaim merek yang bertentangan, serta klaim sah sebagai kasus negatif yang sulit disisipkan
- Semua episode memiliki jawaban benar yang dapat dinilai
- Lingkungan yang digunakan model mereplikasi pekerjaan analis nyata
- Menelusuri sekitar 13.000 kategori
- Memeriksa apakah merek terdaftar dan dilindungi
- Mengambil atribut yang diperlukan untuk kategori terpilih
- Menetapkan klasifikasi akhir, atribut, dan keputusan kebijakan
- Penilai memberi reward untuk jawaban benar dan penalti untuk pelanggaran yang terlewat, atribut tanpa dasar, klasifikasi yang salah, serta pemanggilan alat yang tidak perlu
- Reinforcement learning hanya mungkin jika model dapat mengulangi kegagalan dan percobaan ulang dalam lingkungan yang mereplikasi daftar, alat, dan biaya keputusan pada pekerjaan nyata
Baseline model frontier
- Perbandingan dilakukan pada 200 episode validasi berstrata dengan GPT-5.5, GPT-5.6-sol, Gemini 3.1 Pro, Claude Opus 4.8, dan Claude Fable 5
- Semua model diberi alat, gambar, penilai, dan anggaran giliran yang sama
- Diuji masing-masing dengan prompt dasar dan prompt optimal berisi aturan ekstraksi, prosedur lookup, dan contoh sepanjang 2.800 karakter
- Konfigurasi frontier terbaik mencatat 76,9% dari skor yang dapat dicapai, sedangkan model 9B terlatih GRPO mencatat 87,3%
- Pada setiap episode, model frontier harus menyusun ulang taksonomi toko terkait, kebiasaan inventaris, nilai atribut yang didukung, dan cara menangani pengecualian di dalam prompt
- Instruksi yang dioptimalkan dapat memadatkan sebagian pengetahuan, tetapi tidak bisa mencantumkan semua pengecualian yang menentukan skor
- Konfigurasi frontier yang dioptimalkan saling konvergen dalam selisih 0,1 poin persentase
- Gemini, yang memiliki performa ekstraksi zero-shot tertinggi, justru turun performanya setelah instruksi optimal diterapkan
- Instruksi tambahan menaikkan biaya token input per panggilan sebesar 28~55% tergantung model
- Pengetahuan kerja yang dimasukkan ke prompt berbiaya setiap kali dipanggil, sementara pengetahuan terlatih disimpan dalam bobot
Pelatihan GRPO berskala $500
- Pelatihan menyewa 2 GPU RTX PRO 6000, satu untuk menghasilkan rollout dan satu untuk pembaruan gradien
- Infrastruktur disusun dengan open-source prime-rl
- Total pelatihan memakan 1.000 langkah optimasi, sekitar 3,5 hari, dan biaya GPU sekitar $500
- Dengan sekitar 250 langkah dan kira-kira satu hari pelatihan saja, model sudah melewati kisaran model frontier
- Langkah sisanya digunakan untuk mendorong performa maksimum
- Skor benchmark ketat akhir adalah 0,626, yaitu 87,3% dari batas atas yang dapat dicapai, sekitar 10 poin persentase lebih tinggi daripada konfigurasi frontier terbaik
- Di monitor pelatihan W&B, skor naik dari sekitar 0,50 ke 0,671 pada langkah 1.000
- Monitor menggunakan 2 contoh rollout per episode, sehingga skornya sedikit lebih tinggi daripada harness benchmark ketat
- Model dasar 9B yang belum dilatih memperoleh 64,2% dari skor maksimum, lalu naik ke 87,3% setelah fine-tuning, peningkatan relatif sekitar 36%
- Model spesialis mempelajari hubungan antara taksonomi, alat, kebijakan, dan reward, sehingga memusatkan kemampuannya pada perilaku di lingkungan tertentu, dengan mengorbankan kemampuan serbaguna
- Jika muncul model dasar open-source yang lebih kuat, metode pelatihan yang sama dapat dipindahkan, dan keputusan yang tercatat selama operasi juga dapat didistilasi menjadi data supervised fine-tuning untuk pelatihan ulang berikutnya
Perbandingan biaya dan kualitas
- Biaya inferensi model spesialis sekitar $0,50 per 1.000 produk, dan fine-tuning menghasilkan skor sekitar 23 poin persentase lebih tinggi daripada model dasar 9B dengan biaya yang sama
- Perbedaan biaya pembanding adalah sebagai berikut
- Gemini, konfigurasi frontier termurah, berbiaya $19 per 1.000 item, 40 kali lebih mahal daripada model spesialis
- GPT-5.5-pro, yang termahal, berbiaya $172 per 1.000 item, sekitar 340 kali lebih mahal
- Konfigurasi dengan skor frontier tertinggi berbiaya $34 per 1.000 item, 68 kali lebih mahal daripada model spesialis
- Instruksi 2.800 karakter menaikkan biaya terukur GPT-5.5 sekitar sepertiga, dan pajak prompt ini berulang pada setiap panggilan berikutnya
- Jika memproses sekitar 40 juta kasus per hari, konfigurasi $34 per 1.000 kasus memakan biaya sekitar $500 juta per tahun, sedangkan model spesialis $0,50 memakan sekitar $7 juta, selisih biaya sekitar 98%
Pekerjaan yang cocok dan area yang perlu dihindari
- Pekerjaan yang cocok adalah tugas berulang berskala besar yang menghasilkan keputusan dari informasi
- Routing tiket
- Ekstraksi field dokumen
- Pemeriksaan submission berdasarkan kebijakan
- Klasifikasi produk
- Persetujuan atau penandaan transaksi
- Syarat utamanya adalah apakah benar-salah setiap keputusan dapat diverifikasi dengan aturan, skema, pengujian, rubrik, atau penilaian ahli
- Keputusan yang dapat dinilai dapat dilatih oleh model
- Hasil yang hanya bisa diperdebatkan tanpa konsensus tidak dapat dilatih dengan cara ini
- Pilih alat berdasarkan frekuensi dan keterverifikasian
- Untuk pekerjaan yang sering dan dapat diverifikasi, fine-tuning cocok
- Untuk pekerjaan yang dapat diverifikasi tetapi jarang, model frontier dengan prompt yang dioptimalkan cocok
- Untuk hasil yang tidak dapat diverifikasi, manusia harus dilibatkan
- Jika inti masalahnya bukan penilaian melainkan fakta yang berubah, retrieval augmentation cocok terlepas dari frekuensi
- Jika memenuhi satu atau lebih kondisi berikut, pekerjaan tersebut bisa menjadi kandidat fine-tuning
- Biaya panggilan dan kesalahan terjadi dalam volume cukup besar hingga terakumulasi menjadi biaya nyata
- Semua hasil dapat diperiksa tanpa manusia melalui aturan, pengujian, atau rubrik
- Para ahli sepakat tentang kriteria jawaban benar
- Model yang kompeten berhasil sebagian, tetapi belum cukup konsisten untuk dipercaya
- Jawaban benar tidak bisa muncul dari tebakan kebetulan
- Terdiri dari beberapa tahap penalaran, pemanggilan alat, dan keputusan akhir
- Berjalan di atas alat, skema, dan kebijakan sendiri
- Setiap jenis kesalahan memiliki biaya berbeda
- Data sensitif tidak boleh dikirim ke infrastruktur di luar kendali
- Menjalankan model di dalam batas sendiri membuat prompt dan catatan tidak dikirim ke penyedia eksternal, serta memungkinkan model, evaluasi, dan data dimiliki dan ditingkatkan bersama
Contoh model spesialis di industri lain
- Model Cognition untuk menulis dan memperbaiki software produksi mengungguli GPT-5.5 pada benchmark coding standar dan melakukan streaming 1.000 token per detik
- AT&T merangkum 900.000 panggilan dukungan per hari dan menandai informasi pribadi
- Performa deteksi informasi pribadinya 17% lebih tinggi daripada GPT-4o
- Meninjau kasus penipuan 12 kali lebih cepat dengan akurasi setara GPT-4o dan menghemat jutaan dolar per tahun
- Model pencocokan pencari kerja dan lowongan dari LinkedIn 4% lebih akurat daripada model GPT yang digantikannya
- 75 kali lebih murah daripada GPT-4 dan 6 kali lebih murah daripada GPT-4o
- Model kode klaim medis dari Ambience Healthcare lebih akurat daripada 18 dokter spesialis dalam uji panel emas
- 12 poin persentase lebih tinggi daripada pendekatan prompt o4-mini yang menjadi dasarnya
- Model penjawab telepon dari Phonely mencatat akurasi 99,2%, mengungguli GPT-4o yang 94,7%
- Responsnya 73% lebih cepat daripada konfigurasi GPT-4o sebelumnya, dan satu pelanggan menggantikan 350 agen manusia dalam sebulan
- Model email dan tiket dukungan dari OpenPipe mencatat 93% pada QA dukungan, mengungguli OpenAI o3 yang 50%
- 64 kali lebih murah dan 5 kali lebih cepat daripada o3
- Perplexity Sonar setara dengan GPT-4o dalam jawaban pencarian beserta sumber berdasarkan uji pengguna blind
- 10 kali lebih cepat dan lebih murah daripada GPT-4o
- Model klasifikasi catatan kriminal dari Checkr mengungguli GPT-4 pada kasus tersulit
- 5 kali lebih murah dan 30 kali lebih cepat daripada konfigurasi GPT-4 sebelumnya
- Setiap angka adalah hasil yang dilaporkan sendiri oleh perusahaan terkait, berdasarkan model frontier yang mereka gantikan atau lawan
2 komentar
Memang secara psikologis orang cenderung ingin menyerahkan semuanya ke satu orang yang bisa mengurus semuanya dengan baik, daripada mencari pakar untuk tiap kasus lalu hanya menyerahkan lingkup tugas tertentu
Bukankah fungsi reward LLM juga pada akhirnya mau tidak mau akan dirancang agar menerima apa saja yang dilemparkan kepadanya?
Komentar di Hacker News
Hal utama yang dilewatkan lab-lab besar adalah bahwa untuk sebagian besar penggunaan, pengetahuan setingkat 50 doktor dan kemampuan 12 bahasa tidak diperlukan, sementara batasan biaya jauh lebih penting.
Jika model berbobot terbuka dan fine-tuning murah menjadi umum, keekonomian model superbesar dan infrastruktur skala besar yang dibiayai utang akan runtuh.
Politik atau narasi ancaman Tiongkok hanyalah alasan permukaan; jika model kecil berbobot terbuka menjadi standar, lab besar akan sulit bertahan.
Bagian yang benar-benar mahal dalam fine-tuning adalah mengumpulkan dataset yang bagus, dan sekalipun datanya bersih, tetap dibutuhkan kemampuan untuk menjalankan evaluasi dan mengukur kualitas.
Jika biaya engineering, pelabelan data, dan peninjauan kualitas berkelanjutan digabungkan, untuk banyak penggunaan bisa lebih murah terus memakai model mutakhir dari lab riset yang sudah bekerja baik sejak awal.
Ini mirip dengan sekitar 10 tahun lalu, ketika metode wawancara FAANG menjadi publik lalu semua orang menirunya begitu saja.
Argumennya adalah bahwa jalur saat ini—terus memperbesar bobot dan menambahkan hardware—adalah jalan buntu, dan pada akhirnya, seperti yang selalu terjadi dalam sejarah AI, kita akan kembali ke algoritma yang disesuaikan dengan tujuan.
Untuk membuktikan bahwa parameter sebanyak itu tidak diperlukan, saya sedang membuat TinyToT.
Setiap kali melihat cerita seperti ini, ada dua hal yang mengganjal.
Pertama, saya sudah beberapa kali melihat strategi memanfaatkan model yang ada dengan lebih baik, atau tidak melakukan apa-apa dan menunggu, menghasilkan hasil yang lebih baik daripada pelatihan ulang. Pembandingnya seharusnya bukan model mutakhir saat ini, melainkan model berikutnya yang akan dirilis selama kita mempertahankan model hasil fine-tuning.
Kedua, biaya pelatihan 500 dolar adalah komponen paling murah; pembuatan data dan pemeliharaan model setelahnya jauh lebih mahal. Saya ragu berapa banyak kasus penggunaan yang benar-benar bisa membuat 177 ribu episode yang sudah diberi skor.
Di sini datanya harus disintesis dengan Amazon Berkeley Objects; jika dataset itu ada secara alami, ia tidak perlu dibuat, dan justru dataset ini sendiri paling jelas menunjukkan sulitnya menerapkan fine-tuning.
Seperti hardware khusus semacam GPU tetap digunakan setelah CPU berkembang, model khusus kemungkinan akan terus lebih unggul daripada model umum dari sisi biaya atau hasil.
Jika pelatihan awalnya 500 dolar, pelatihan berkelanjutan itu sendiri relatif murah. Membuat contoh baru sesuai perubahan data memang lebih mahal, tetapi bisa digunakan kembali untuk melatih model berikutnya, dan bagaimanapun juga diperlukan sampai taraf tertentu untuk mengevaluasi perubahan model dan prompt.
Pada akhirnya, ini tidak selalu layak karena biaya pembuatan data/pelatihan atau kekurangan data, dan hanya cocok untuk tugas yang sering dilakukan dan dapat diverifikasi seperti di diagram artikel. Mungkin ini hanya realistis bagi perusahaan besar yang menangani jutaan keputusan.
Biaya pemeliharaan dataset dan model juga sedang digeneralisasi menjadi layanan umum melalui startup seperti Braintrust atau Hugging Face.
Model mutakhir sangat hebat dalam menghapus pekerjaan mereka sendiri.
Bahkan di GPT, Luna sudah menangani 90% penggunaan Sol. Alasan Tiongkok masih bersungguh-sungguh melakukan distilasi model adalah untuk menghasilkan data pelatihan yang akurat, sementara OpenAI dan Anthropic menghabiskan bertahun-tahun mengumpulkannya sambil menghindari masalah hukum.
Semakin pintar model, orang akan berpindah ke alternatif murah yang cukup mampu menyelesaikan pekerjaan. Jika akurasinya sudah 99%, hampir tidak ada manfaat praktis memakai model mutakhir, dan ini tampaknya risiko terbesar bagi lab-lab AS.
Untuk pekerjaan lain, model yang lebih murah sudah cukup.
Mirip dengan saya yang tidak berniat mengganti TV LCD yang dibeli sekitar 2018; teknologi lain pun demikian.
Teknologi cenderung menggantikan teknologi baru atau memasuki area kosong, tetapi jarang menggantikan area non-teknologi seperti interaksi manusia. Aktivitas hiburan di depan layar pun pada umumnya mengarah ke hubungan parasosial.
Saya sangat tertarik pada fine-tuning model terbuka dan sedang mencari materi yang layak direkomendasikan sendiri; tulisan ini juga saya simpan untuk dibaca lebih detail.
Saya menjalankan Nemotron-3-Nano 30B secara lokal dan menargetkan model dengan 30 miliar hingga 120 miliar parameter. Model dasar saja sudah cukup untuk menghasilkan nilai nyata, tetapi untuk tugas khusus, saya pikir pelatihan bisa menutup celah terakhir.
Saya terutama menyukai bahwa penulis memikirkan keseluruhan proses, dan saya bisa melihat kasus penggunaan serta strategi penciptaan nilai yang sama. Karena ini proyek jangka panjang, saya juga berencana membeli hardware untuk fine-tuning.
Saya belum membaca tulisan Ramp, tetapi ini tampak seperti kekeliruan pascaperistiwa. Perusahaan dengan pendapatan 2x mungkin punya uang untuk dibelanjakan pada AI, sedangkan perusahaan dengan 1,15x mungkin tidak
Pendekatan fine-tuning LLM kecil atau model bahasa yang lebih kecil seperti BERT sudah direkomendasikan sejak awal kemunculan LLM. Keunggulannya jelas: eksekusi cepat, seluruh susunan teknologinya bisa dikendalikan, dan lebih cocok untuk domain khusus
Namun API model bahasa besar masih murah, cukup cepat, dan terus membaik, sehingga fine-tuning yang benar-benar dilakukan tidak banyak. Sebab, begitu kita menghabiskan waktu dan uang untuk merilis model khusus, model serbaguna baru bisa saja melampauinya
Suatu saat, jika kemajuan LLM melambat atau harga API menjadi sulit ditanggung, era fine-tuning dan model kecil akan kembali datang
Saya suka matriks 2×2 yang menunjukkan kapan perlu melakukan fine-tuning model dan kapan memakai model mutakhir
Namun tidak jelas bagaimana evaluator menentukan skor tiap episode. Jika yang menilai adalah model mutakhir, saya penasaran apakah evaluasinya tetap valid bahkan setelah model fine-tuned menjadi lebih baik daripada model itu dalam tugas tersebut
Akan membantu jika terlebih dahulu mendistilasi seluruh distribusi probabilitas alur kerja khusus domain dari model open yang lebih besar seperti Kimi K3, lalu menerapkan pipeline reinforcement learning privat sendiri pada hasilnya. Kami menggunakan GLM 5.2 untuk membuat model privat 27B untuk English→SQL dan mendapatkan hasil yang lebih baik daripada Fable, tetapi kemampuan menjelaskannya hilang
Di area yang sangat terspesialisasi, tidak sulit melampaui model mutakhir dengan sebagian kecil dari biayanya. Bahkan tanpa pipeline reinforcement learning sendiri, distilasi saja bisa menghemat biaya besar, dan model 27B bisa mendekati model 3T untuk tugas tersebut
Namun kemungkinan besar ini tidak akan berhasil untuk tugas yang terlalu ambisius sehingga tidak cocok bagi model pakar
Belakangan ini saya tenggelam dalam riset otomatis untuk mendorong 3B Foundation Model Apple hingga setara Sonnet 4.6 pada tugas yang sangat spesifik
Dengan menggabungkan adapter fine-tuning dan satu tahap deterministik, saya berhasil mencocokkannya hingga sekitar 90%
Seluruh proses, termasuk pertanyaan dan jawaban, 96 eksperimen, serta garis keturunannya, saya rangkum di https://alexisrondeau.me/tada/research/FMDiscovery/dashboard...
Bottleneck-nya bukan ukuran model, melainkan bagaimana orang yang benar-benar memahami masalah mendefinisikan fungsi reward
Ada banyak bahasa pemrograman bagus untuk mendefinisikan solusi, tetapi saya bertanya-tanya, di mana bahasa untuk mendefinisikan masalah secara jelas?