Kembalinya Fine-Tuning

• Fine-tuning kembali mencuat sebagai pusat metodologi pengembangan AI, dipicu oleh pengumuman Tinker dari Thinking Machines Labs dan pergeseran paradigma menuju deployment LLM open-source yang dikelola sendiri
• Fine-tuning, yang sempat turun menjadi kurang dari 10% beban kerja inferensi AI, kini kembali mendapat perhatian berkat platform GPU-as-a-service, ekosistem model yang lebih stabil, dan meluasnya model open-weight
• Teknologi LoRA (Low-Rank Adaptation) memangkas biaya secara drastis sambil mempertahankan atau meningkatkan performa dengan hanya menambahkan matriks low-rank kecil alih-alih melatih ulang miliaran parameter
• Tinker menawarkan arsitektur pembelajaran berkelanjutan melalui online reinforcement learning, yang menunjukkan masa depan fine-tuning dengan cara mengevaluasi dan memperbaiki respons model itu sendiri, bukan meniru jawaban yang telah ditulis sebelumnya
• Fine-tuning berkembang melampaui sekadar tahap teknis menjadi lapisan strategis untuk kepemilikan, alignment, dan peningkatan berkelanjutan, serta diperkirakan menjadi pendorong utama komputer AI personal dan operasi agen yang terspesialisasi

---

Latar belakang historis fine-tuning

• Thinking Machines Labs mengumumkan Tinker, memicu kembali pembahasan tentang fine-tuning-as-a-platform
  • Startup yang didirikan oleh mantan CTO OpenAI, Mira Murati, ini memperoleh valuasi 12 miliar dolar AS hanya dalam 6 bulan sejak berdiri
  • Mereka memosisikan platform fine-tuning sebagai fondasi untuk kolaborasi riset dengan universitas
• Clément Delangue dari Hugging Face menangkap pergeseran paradigma menuju deployment LLM yang dikelola sendiri, open-source, dan terspesialisasi
  • Perangkat keras khusus seperti DGX Spark dari NVIDIA mendukung tren ini
  • Personal AI Workstation dari a16z menjadi contoh pemasaran yang menunjukkan tren tersebut
• Fine-tuning sempat mendapat sorotan setelah gelombang pertama large language model, tetapi kemudian cepat memudar hingga kini hanya mencakup kurang dari 10% beban kerja inferensi AI

Era sebelum Transformer

• Sebelum terobosan Transformer, NLP bergantung pada model yang terspesialisasi
  • Arsitektur rekuren seperti RNN dan LSTM mendorong kemajuan awal
  • Untuk pertama kalinya, model belajar langsung dari urutan kata alih-alih dari fitur bahasa buatan tangan
  • Setiap aplikasi harus dimulai dari nol dengan data khusus tugas

Munculnya Transformer dan terbentuknya metodologi fine-tuning

• Pada 2017, paper Google Attention Is All You Need memperkenalkan arsitektur Transformer
  • Rekurensi dan konvolusi digantikan sepenuhnya oleh self-attention
• Tujuh bulan kemudian, ULMFiT membuktikan bahwa model bahasa yang telah dipra-latih (saat itu masih berbasis LSTM) dapat di-fine-tune untuk berbagai tugas
  • Ini membentuk fondasi metodologis yang membuat Transformer menjadi praktis
• Setahun kemudian, BERT dan GPT-1 benar-benar menerapkan rancangan ini
  • BERT memanfaatkan sisi encoder dengan attention dua arah untuk pemahaman
  • GPT menggunakan sisi decoder dengan attention satu arah untuk generasi
• BERT secara khusus membentuk ulang kultur NLP
  • Alih-alih membangun semua model dari nol, para peneliti mulai melakukan fine-tuning pada Transformer pra-latih untuk mencapai hasil yang sebelumnya membutuhkan berbulan-bulan feature engineering manual

Batasan full fine-tuning dan kemunculan LoRA

• Ketika jumlah parameter melonjak dari jutaan menjadi ratusan miliar, fine-tuning tak lagi menjadi pilihan yang bijak
  • Full Fine-Tuning (FFT) berarti melatih ulang semua layer dan bobot
  • Ini memberi presisi, tetapi dengan biaya yang sangat besar
  • Pekerjaan GPU yang dulu memakan beberapa jam berubah menjadi beban kerja industri berskala besar
• Pada 2021, Microsoft Research memperkenalkan LoRA (Low-Rank Adaptation of Large Language Models)
  • Alih-alih melatih ulang miliaran parameter, LoRA membekukan bobot asli dan menambahkan matriks low-rank kecil pada layer yang dipilih
  • Hanya bagian ini yang dilatih, sehingga mengurangi biaya hingga satu digit sambil mempertahankan atau meningkatkan performa FFT
  • LoRA pun menjadi pendekatan default
  • Pada 2024, berkat library PEFT dari Hugging Face, implementasinya bisa dilakukan dengan satu baris perintah

Kompleksitas tuning hyperparameter

• Fine-tuning bukan sekadar paket yang dideploy dan dipelihara
  • Proses tuning itulah tempat keajaiban sebenarnya terjadi, dan tidak pernah ada satu konfigurasi yang cocok untuk semuanya
• Tuning hyperparameter sendiri menentukan sukses atau gagalnya model
  • Menyeimbangkan rank, learning rate, dan rasio alpha terasa lebih dekat ke alkimia daripada sains
  • Perlu menghindari adapter yang overfit atau model yang melupakan apa yang sudah diketahuinya (catastrophic forgetting)
• Ketika akhirnya mendapatkan sesuatu yang bekerja, evaluasi terasa lebih mirip meramal daripada memverifikasi
• Sementara itu, LLM terus membaik di hampir semua tugas dan menjadi nyaris mahakuasa
  • Pada 2023, sebagian besar tim menyadari bahwa berkat context window yang lebih besar, mereka bisa mencapai sekitar 90% performa fine-tuning hanya lewat prompt engineering
  • RAG (Retrieval-Augmented Generation) juga memberi model akses ke knowledge base eksternal
  • Kedua pendekatan ini tidak memerlukan pelatihan ulang dan memberikan hasil yang cukup baik dengan beban operasional yang jauh lebih rendah

Mengapa fine-tuning kembali mendapat perhatian

• Faktor-faktor yang dulu membuat fine-tuning terasa tidak relevan atau tidak efisien kini mulai teratasi satu per satu
  • Platform GPU-as-a-service seperti Together.ai memungkinkan pipeline fine-tuning LoRA dimulai dengan friksi minimal
  • Model baru memang masih muncul cepat, tetapi perubahan kini lebih evolusioner daripada revolusioner
  • Ekosistem open-weight seperti Mistral, Llama, Falcon, Yi, dan Gemma memberi organisasi banyak alternatif untuk memiliki, memeriksa, dan memelihara varian hasil fine-tuning tanpa vendor lock-in
  • Perusahaan mungkin telah mencapai batas dari apa yang bisa dicapai hanya dengan prompting
• Fine-tuning perlahan kembali disorot bukan sebagai fitur trendi, melainkan sebagai tuas strategis untuk kontrol, diferensiasi, dan inteligensi yang tertanam

Tinker dari Thinking Machines Lab dan peningkatan pada LoRA

• Tinker dari Thinking Machines Lab berfokus pada pembuktian teorema, penalaran kimia, reinforcement learning multi-agen, dan keamanan AI
• Dalam posting blog mereka, LoRA Without Regret, mereka membagikan cara melakukan fine-tuning dengan lebih efektif
  • Mereka merekomendasikan penerapan LoRA ke semua modul linear, bukan hanya layer attention seperti pada paper asli
  • Mereka menekankan pentingnya LoRA rank, hyperparameter yang sering diabaikan
  • Mereka menyarankan learning rate yang lebih tinggi (setidaknya 10x) dan ukuran batch yang lebih kecil, kebalikan dari praktik umum
  • Mereka menyarankan agar fungsi reward didefinisikan secara eksplisit melalui verifikasi matematis atau logis
  • Semua rekomendasi ini dijelaskan dengan jelas dan dapat direproduksi di TRL milik Hugging Face

Modularitas pipeline fine-tuning modern

• Pipeline fine-tuning modern benar-benar berbeda dari 5 tahun lalu
  • Sekarang bersifat modular, serverless, dan terorkestrasi
• Satu deployment dapat menjalankan puluhan adapter LoRA bersama model dasar
  • Masing-masing mewakili tone, fungsi, atau domain tertentu
• Saat inferensi, sistem merutekan query ke kombinasi adapter yang tepat alih-alih bergantung pada file model statis
• Modularitas ini juga menimbulkan tantangannya sendiri
  • Platform all-in-one seperti Together.ai menangani sebagian besar pekerjaan berat, tetapi kurang memiliki konfigurasi granular dan observability yang dibutuhkan banyak tim
  • Biaya dalam skala besar bisa meningkat dengan cepat

Pendekatan unik Tinker

• Tinker tampaknya menawarkan yang terbaik dari kedua dunia
  • Menggabungkan kenyamanan stack fine-tuning modern yang sepenuhnya terkelola dengan kontrol granular untuk peneliti
  • Menyediakan akses API langsung ke primitive pembelajaran tingkat rendah sehingga pengguna dapat mengorkestrasi workflow pelatihan dan algoritme kustom hingga level terdalam
  • Pada saat yang sama, mereka juga menangani pekerjaan yang sulit
• Untuk saat ini Tinker hanya tersedia bagi tujuan riset, tetapi diperkirakan akan menginspirasi platform lain
• Masalah infrastruktur perlahan menjadi urusan masa lalu, tetapi tantangan besar berupa evaluasi masih tersisa

Sulitnya evaluasi model dan online reinforcement learning

• Model sangat sulit dievaluasi
  • Evaluasi manusia tidak konsisten, lambat, dan yang terpenting sangat mahal
  • Benchmark cepat menua dan kehilangan relevansinya akibat kontaminasi data
  • Bahkan pendekatan otomatis seperti G-Eval atau Chatbot Arena menimbulkan masalahnya sendiri, sering kali memperkuat bias dan menghasilkan skor yang tidak stabil
• Benjamin Anderson mengusulkan bahwa Tinker mungkin memiliki sebagian dari solusi
  • Tinker memberi pengguna kemampuan untuk menjalankan online reinforcement learning
  • Sistem mengambil completion dari bobot model saat ini, memberi skor pada completion tersebut, lalu memperbarui model berdasarkan apakah completion itu baik atau buruk
  • Supervised fine-tuning mengajarkan model meniru respons yang telah ditulis sebelumnya, sedangkan online RL memperbaikinya dengan memberi skor pada responsnya sendiri
• Dengan arsitektur semacam ini, masa depan fine-tuning mungkin tidak lagi terlihat seperti fine-tuning
  • Ia mulai menyerupai pembelajaran berkelanjutan

Evolusi strategis fine-tuning

• Robert Hommes dari Moyai.ai mengatakan sebagai berikut
  • "Secara teori, fine-tuning selalu masuk akal. Namun kecepatan laboratorium closed-source dalam memperluas inteligensi model membuatnya secara praktis menjadi pilihan yang buruk"
  • "Sekarang, dengan komputasi, data, dan framework yang lebih baik, arahnya kembali condong ke spesialisasi"
• Pergeseran menuju self-hosting mungkin akan datang lebih cepat dari perkiraan
  • Constant Razel dari Exxa mengatakan, "Komputer AI personal bukan lagi ide yang jauh"
  • Teknologinya terus membaik dan makin mudah diakses
  • Keamanan dan biaya kemungkinan akan mendorong adopsi awal
  • Fine-tuning akan memungkinkan agen terspesialisasi berperforma tinggi berjalan di atasnya
• Fine-tuning berubah dari pengejaran brute-force terhadap akurasi batas atas menjadi kerangka untuk kepemilikan, alignment, dan peningkatan berkelanjutan yang berakar pada kedekatan dan kontrol
• Ini bukan lagi sekadar tahap teknis, melainkan mungkin lapisan strategis dalam cara inteligensi dibangun dan dimiliki

[m00nlygreat]

Ternyata manusia malah menjadi penghambat perkembangan AI. Ini dilema yang menarik, ya. wkwk

[GN⁺]

Pendapat Hacker News

• Bahkan setahun lalu saya masih optimistis. Ada juga setidaknya satu kasus di mana fine-tuning berbasis RL memang bermakna. Namun saat mencoba menerapkannya ke pekerjaan nyata, ada banyak benturan dengan teknologi industri yang sudah ada. Dari para engineer ML di sekitar saya, khususnya yang direkrut setelah kemunculan LLM, banyak yang ternyata kurang punya pengetahuan ML yang benar-benar mendalam. Secara praktik mereka lebih mirip developer AI atau AI DevOps. ML sendiri sedang berubah menjadi pekerjaan yang makin bergantung pada tool platform, seperti data engineering atau analitik. Bahkan sekilas terlihat ada produk AI di platform cloud yang bahkan tidak menyediakan metrik evaluasi, sehingga mustahil membangun solusi ML yang layak. Hampir tidak ada juga yang benar-benar menganggap ini masalah besar. Fine-tuning RL butuh sangat banyak detail, titik pemantauan, dan refinement data. Model ML sederhana saja sekarang sudah jarang benar-benar dipelajari orang, dan kesenjangan pembelajaran untuk fine-tuning RL jauh lebih besar lagi. Karena contoh sukses nyatanya sedikit, di pekerjaan pun hampir tidak ada kesempatan belajar dari senior. Biaya penugasan pakar maupun labeling data juga sedang ditekan. Saya ragu perusahaan akan terus mendukung teknologi seperti ini untuk waktu lama, dan setelah saya pergi nanti siapa yang akan bergantian menangani ini. AutoML juga gagal menjadi arus utama, dan saya rasa RL pun tidak akan mudah dipaketkan menjadi platform. Kenyataannya, kebanyakan perusahaan tidak keberatan membayar lebih untuk produk yang lebih buruk asalkan bisa diskalakan besar-besaran. ‘Pengalaman kerja’ di industri pada akhirnya cuma berarti pengalaman dengan platform tertutup. Kadang ada syarat “pytorch” di tech stack, tapi hampir tidak ada karyawan yang benar-benar bisa memakainya. Kalaupun ada, beban operasional membuatnya tidak bisa dipakai

  • Labeling benar-benar penting untuk memverifikasi sistem secara cepat dan objektif, bahkan jika kita tidak melatih model. Tapi mendapatkan label selalu rangkaian kesulitan tanpa akhir. Kadang pun saat berhasil mendapatkan resource SME, komunikasi untuk meminta mereka menerapkan standar yang konsisten dengan ketat itu sulit, dan label akhirnya jadi sulit dipakai. Pada akhirnya saya sering melabeli sendiri secara sukarela. Pemahaman saya terhadap domain memang kurang, tapi saya kira-kira tahu “apa yang disukai jaringan saraf”, jadi waktu tunggunya bisa banyak dipangkas. Men-tuning model besar masih sulit dibenarkan. Sering kali cukup menunggu 6 bulan saja sudah muncul model dasar yang lebih baik. Namun jika model besar terlalu mahal dan masuk wilayah yang tidak efisien, maka fine-tuning model kecil sesuai tujuan jelas bernilai

  • Saya merasa engineering yang sesungguhnya, yaitu kemampuan menerjemahkan teori kompleks menjadi sistem yang benar-benar bekerja, dalam arti yang sebenarnya sudah banyak melemah. Kini kecenderungannya lebih besar untuk menumpang pada layanan engineering yang sudah tersedia daripada menginvestasikan banyak waktu untuk meningkatkan keterampilan engineering. Dari sudut pandang semangat hacker, melatih model sendiri di GPU yang tidak jelas tidak harus punya ROI. Engineer individu punya hasrat untuk memperoleh pengetahuan

  • Pada akhirnya seseorang akan menghasilkan hasil yang benar lewat pengukuran kinerja nyata, lalu Michael Lewis menulis buku tentang itu, dan siklus baru pun akan dimulai lagi

  • Saya juga sudah sering melihat tim yang berharap dampak besar dari fine-tuning, tetapi pada praktiknya hanya mengalami peningkatan bertahap atau sangat kecil. Pada akhirnya mereka sampai memproductize-nya, lalu menyesal karena tidak bisa mengikuti update SOTA terbaru. Saya sengaja menghindari fine-tuning. Sebab model itu sendiri membaik terlalu cepat, sehingga kecepatan pengembangan produk di perusahaan besar tidak mampu mengikutinya

• Baru-baru ini saya melakukan survei di Twitter tentang contoh kasus yang menghasilkan nilai ekonomi dari fine-tuning LLM. Saya menanyakan hal ini kira-kira setiap 6 bulan, dan hasilnya hampir selalu mengecewakan. Kali ini terkumpul jawaban yang sedikit lebih bisa dipercaya dibanding sebelumnya. Contoh-contoh utamanya saya rangkum dalam thread Twitter saya, dan untuk yang tidak punya akun Twitter saya juga bagikan tautan thread viewer. Salah satu contoh yang mengesankan adalah Datadog yang mencapai latensi di bawah 500ms pada fitur kueri pencarian bahasa alami tweet terkait, lihat juga dokumentasi resmi. Vercel menjalankan model fine-tuning kustom untuk generasi otomatis Next.js, dan juga punya blog. Shopify menggunakan Vision LLM yang di-fine-tune untuk analisis foto produk, lihat artikel

  • Untuk tugas regresi (regression), fine-tuning nyaris wajib. Pada klasifikasi (classification) juga berguna karena kita bisa langsung memakai nilai probabilitas untuk mengatur ambang ya/tidak

  • Bagi kebanyakan perusahaan, imbal hasil dibanding risiko fine-tuning kemungkinan akan lebih buruk dari yang diharapkan. Kalau datanya masih bisa saja dimasukkan begitu saja ke prompt, justru itu lebih mudah

  • Jika ada ide tentang kasus di mana fine-tuning bisa membawa perubahan besar, tetapi tidak punya waktu atau sumber daya untuk bereksperimen sendiri, saya menyambut baik berbagi ide seperti itu. Saat ini saya sedang mengumpulkan contoh-contoh seperti ini, dan sejauh ini baru ada 3 kasus nyata/terverifikasi

  • Banyak orang yang mencoba memasukkan pengetahuan domain ke LLM lewat fine-tuning melakukan kesalahan seperti memotong buku psikologi lalu sekadar memasukkan teksnya. Dengan cara seperti itu, yang diajarkan bukanlah “perilaku menerapkan psikologi”, melainkan hanya cara “menulis pengantar” tentangnya. Desain dataset yang buruk adalah penyebab banyak kegagalan fine-tuning. Sebaliknya, jika susunan dataset benar, model 7B bisa menghasilkan efisiensi yang melampaui model 180B

• Dari beberapa contoh yang saya lihat belakangan ini, saya setuju dengan pendapat OP. PaddleOCR dengan 0.9B parameter mencapai akurasi yang mendekati SOTA untuk teks, tabel, rumus, grafik, sampai tulisan tangan paper. Lalu model 3B/8B mencapai akurasi setingkat GPT-5 pada tugas mengekstrak HTML ke JSON, dengan biaya 40~80 kali lebih murah dan inferensi yang lebih cepat Reddit. Jika ingin meningkatkan efisiensi untuk tugas tertentu, fine-tuning memang bermakna

  • Penasaran apakah Anda sudah mencoba PaddleOCR sendiri. Agak aneh mengklaim SOTA tanpa membandingkannya dengan Amazon Textract atau Azure Document Intelligence (berbasis LayoutLM v3). Saat saya bereksperimen dengan pengenalan dokumen, dua itu yang paling unggul

  • Diskusi ini kembali tersambung ke pertimbangan soal ukuran model, yakni SLM dan LLM. SLM bisa dioptimalkan untuk pekerjaan tertentu, dan untuk tugas itu saja bisa mengalahkan LLM. Namun, jika 1. presisi tidak benar-benar krusial atau 2. trafiknya tidak terlalu besar, nilainya rendah dibanding waktu/usaha yang dibutuhkan

• Sebagai orang yang pernah mendirikan startup fine-tuning LLM bernama Lamini, saya tidak setuju dengan pendapat OP. Hipotesis kami adalah bahwa fine-tuning akan jauh lebih mudah digunakan daripada mempelajari deep learning dari nol. Karena sudah mulai dari LLM yang sangat kuat, kami memperkirakan ini akan lebih mudah. Namun setelah menjalankan sekitar 20 proyek nyata, ternyata fine-tuning sama sulitnya dengan deep learning dan hambatan masuknya juga tinggi. Dalam struktur pasar saat ini, engineer ML yang mahir fine-tuning berbasis deep learning bisa dengan mudah mendirikan startup atau bergabung dengan Anthropic, OpenAI, dan sejenisnya. Justru tim pembuat solusi LLM tidak terlalu menghargai engineer yang benar-benar kuat. Akibatnya, tim spesialis yang membuat Claude, GPT, Qwen, dan sebagainya lebih kompetitif daripada upaya fine-tuning para pengguna individual. Saat ini RAG, prompt engineering, reasoning, AI agent, memory, dan SLM adalah solusi yang jauh lebih mudah dan kuat

  • Saya penasaran apakah Anthropic atau OpenAI memang berusaha merekrut siapa saja yang bisa melakukan fine-tuning LLM

  • Saya penasaran model seperti apa yang dulu di-fine-tune, apakah model itu sudah cukup matang untuk dituning dengan baik, dan apakah ada masalah catastrophic forgetting. Sekarang juga sudah ada jauh lebih banyak model open source yang bagus. Jika arsitekturnya dirancang dengan mempertimbangkan fine-tuning, saya rasa kekurangan generasi sebelumnya bisa diatasi. Perusahaan ingin memiliki model mereka sendiri secara langsung daripada meminjam model milik orang lain

• Fine-tuning adalah teknik bagus yang seharusnya ada di toolbox. Tetapi dalam praktiknya, penggunaan yang benar-benar cocok lebih sempit daripada yang dibayangkan. Di satu sisi, banyak tugas NLP sudah punya akurasi cukup tinggi hanya dengan kemampuan dasar LLM sehingga tidak perlu fine-tuning. Sebaliknya, tugas yang benar-benar kompleks membuat fine-tuning sangat sulit, dan pengumpulan datanya juga sangat mahal. Pada akhirnya fine-tuning adalah solusi yang cocok untuk pekerjaan yang tingkat kesulitannya pas, dan pengumpulan datanya masih realistis, semacam di area tengah itu

  • Saya rasa ada ratusan ribu use case yang cocok

  • Penasaran contoh tugas apa saja yang termasuk “area tengah” itu

• Situs web ini memuat dengan sangat cepat bahkan saat diakses dari Eropa. Kontennya dimuat dinamis mengikuti scroll, dan gambarnya juga sangat terkompresi tetapi kualitasnya tetap bagus. Susunan situsnya sangat mengesankan

  • Mungkin berkat keajaiban CDN, dan karena penggunaan JS diminimalkan (saya belum cek source-nya)

• Baru-baru ini saya menulis posting blog tentang topik serupa blog. Saya membahas “LoRA Land”, studi empiris skala besar di mana model 7B yang di-fine-tune melampaui GPT-4, serta bagaimana tren fine-tuning berubah dalam 6 bulan terakhir

• Saya penasaran apakah dengan adaptor LoRA kita bisa memasukkan ke dalam model berbagai elemen konteks yang sebelumnya harus selalu dimasukkan ke prompt yang sudah ada, seperti standar kerja, preferensi gaya penamaan, materi referensi, definisi MCP, dan sebagainya. Datanya bisa dibuat dengan cara memasukkan sebanyak mungkin konteks yang ada, mencoba berbagai prompt, lalu melihat bagaimana responsnya berbeda dari baseline. Hasil itu juga bisa dimasukkan ke fine-tuning dalam bentuk input=refactor {base model output}, output={full-context model output}. LoRA memang sejak awal dirancang untuk dipakai secara kombinatif, jadi MCP juga mungkin bisa didistribusikan sebagai adaptor yang dapat dinyalakan dan dimatikan. Saya juga berpikir pendekatan ini bahkan bisa mencegah context poisoning

• Saya developer inference.net dan schematron. Perusahaan semakin memedulikan efisiensi saat benar-benar menerapkan LLM ke produk nyata. Dari sudut pandang developer, sekalipun mau membayar model mahal seperti GPT-5-Super-AGI-Thinking-Max, bisnis nyata tetap mempertimbangkan efisiensi. Jika model Llama 8 miliar parameter bisa di-fine-tune dalam 48 jam berdasarkan data GPT-5 dan menghemat 100 ribu dolar per bulan, tentu semua orang akan mencoba mengambil peluang itu

• Sekarang tampaknya sebagian besar perusahaan sudah mencapai batas yang bisa diraih hanya dengan prompt sederhana. Mereka butuh model yang benar-benar memahami kosakata, tone, sistem klasifikasi, dan aturan kepatuhan khas perusahaan itu. Kecepatan dan biaya memang penting, dan itu alasan utama fine-tuning. Namun teknik manajemen konteks juga memungkinkan kolaborasi. Seiring ukuran konteks membesar, RAG menggantikan fine-tuning, dan belakangan pemanfaatannya juga meningkat besar hanya lewat desain prompt yang lebih baik. Seperti perdebatan FPGA vs CPU/GPU, kebanyakan pihak tidak bisa menikmati keuntungan fine-tuning kelas atas karena biaya pengembangan dan risiko tenggat untuk mengejar performa terbaik