GPT-4.5, umur komersial 4,5 bulan
- GPT-4.5, model termahal saat peluncurannya pada Februari 2025 (input $75/output $150 per 1 juta token), dihapus dari API sebelum genap 5 bulan. Ini adalah model dengan usia paling pendek dalam sejarah OpenAI, dan para pengembang yang membangun produk di atasnya terjebak dalam siklus migrasi
- Pelajaran yang diambil pasar adalah "jangan bangun bisnis di atas model milik orang lain", tetapi topik tulisan ini adalah bahwa pelajaran itu hanya setengah benar
Lapisan model sedang menjadi komoditas
- Berdasarkan SWE-bench Verified, 5 model teratas berkumpul dalam selisih 0,4 poin, tetapi harganya berbeda 5 kali lipat. Di seluruh pasar, jarak antara token termurah dan token penalaran premium melebihi 600 kali lipat - harga bukan lagi indikator pengganti untuk performa
- Kesenjangan antara open-weight dan frontier tertutup, berdasarkan benchmark publik, stabil di rata-rata 4 bulan (8~10 bulan pada benchmark privat) dan bertahan lebih dari 18 bulan. Kesenjangan itu nyata, tetapi sempit, dapat diprediksi, dan tidak melebar
Empat risiko ketergantungan pada API frontier
- Perubahan harga: Claude 3.5 Haiku naik 4 kali lipat lalu sebagian dibatalkan sebulan kemudian, o3 turun 80% dalam semalam. Tokenizer baru kadang menghasilkan hingga 35% lebih banyak token dari teks yang sama - masalahnya bukan arah naik/turun, melainkan variansnya
- Siklus penghentian: Pada Februari 2026, GPT-4o, 4.1, dan o4-mini dihentikan sekaligus dengan pemberitahuan sekitar 3 bulan. Sampai muncul istilah "prompt drift", ketika prompt yang disempurnakan selama setahun bekerja berbeda pada model baru
- Penyerapan oleh platform: kerentanan GPT wrapper ketika penyedia memasukkan fungsi yang sebelumnya dikerjakan wrapper ke produknya sendiri
- Regulasi: Pada Juni 2026, Anthropic Fable 5 dihentikan secara global selama 19 hari karena pedoman kontrol ekspor AS - variabel yang bahkan tidak bisa dipilih oleh penyedianya sendiri
Keempat risiko itu berasal dari satu masalah - ketergantungan pada frontier yang di-host pihak lain
- Menjalankan open source sendiri menghilangkan perubahan harga, penghentian, dan penghentian karena regulasi, serta mengurangi penyerapan oleh platform. Bobot yang sudah diterima tidak akan dihentikan atau ditarik kembali
- Soal biaya, mari jujur: menjalankan sendiri dengan GPU konsumen sekitar $1 per 1 juta token (penyusutan 3 tahun + listrik, utilisasi 30%), lebih mahal daripada API open-weight termurah ($0.14/$0.28), jadi kalah dalam biaya absolut
- Keekonomian menjalankan sendiri tidak ada pada rata-rata, melainkan pada varians. Selain itu, API termurah menyimpan data input untuk pelatihan - harga tersembunyi dari yang termurah adalah data Anda
Diagnosis sama, resep berlawanan
- Diagnosis bahwa bisnis konten yang bergantung pada API frontier rentan pada skala big tech memang benar
- Namun jika pemain kecil menjalankan open source sendiri pada zona good-enough, mereka justru memutus ketergantungan yang menciptakan kerentanan itu - saat diagnosis big tech disalin begitu saja ke startup kecil, di situlah ia menjadi keliru
Bukan gratis (4 rem)
- Input komoditas menghasilkan output komoditas - moat hanya lahir dari distribusi yang ortogonal terhadap AI, data eksklusif, integrasi domain, serta verifikasi dan penilaian
- Garis good-enough bergerak naik - jika hanya parkir di garis itu, berarti Anda parkir di zona margin yang terus turun
- Batasnya bukan domain, melainkan tingkat kesulitan tugas: dalam evaluasi NIST, open-weight terbaik praktis setara dengan frontier dalam matematika, tetapi tertinggal lebih dari 30 poin pada siber, penalaran abstrak, dan agentic coding jangka panjang
- Menjalankan sendiri secara langsung menuntut kemampuan operasi, tuning, verifikasi, dan tanggung jawab kepatuhan - ketergantungan tidak hilang, melainkan berpindah dari penyedia API ke kapabilitas saya sendiri
Kesimpulan: penentunya adalah verifikasi dan penilaian
- Bahkan saat memakai model terbuka yang sama, jika output dikirim apa adanya itu hanya demo; jika fakta, angka, dan identifikasi ditempatkan di balik lapisan verifikasi, itu menjadi produk
- Penentu dalam AI Content adalah penilaian rekayasa untuk mengubah model murah menjadi produk yang dapat dipercaya, dan open source menjadi senjata bagi orang yang memiliki penilaian itu
Ini adalah tulisan yang saya buat sendiri. Saya menyambut diskusi tentang desain stack antara menjalankan lokal dan API.
Belum ada komentar.