Harga token makin mahal

• Berlawanan dengan ekspektasi bahwa biaya token LLM akan turun 10x setiap tahun, layanan langganan AI justru mengalami profitabilitas yang semakin memburuk
• Permintaan untuk model LLM terbaru selalu terkonsentrasi pada model teratas (SOTA, state-of-the-art), sehingga turunnya harga model “lama” tidak benar-benar menghasilkan penghematan biaya nyata
• Semakin tinggi performa model, semakin besar jumlah token yang dipakai secara eksponensial, sehingga penurunan harga per unit tertutup dan bahkan total biaya justru melonjak
• Eksperimen paket langganan tak terbatas (misalnya Claude Code $200/bulan) juga tidak berkelanjutan karena ledakan penggunaan token oleh heavy user
• Selain penagihan berbasis penggunaan, tidak ada model yang berkelanjutan dalam jangka panjang, tetapi penerapan nyatanya sulit karena persaingan startup dan resistensi konsumen
• Jika tidak beralih ke model pendapatan yang berkelanjutan, sebagian besar startup pada akhirnya akan menghadapi risiko bangkrut

---

Bisnis langganan AI: mengapa rugi justru membesar meski harga token turun

Ilusi turunnya harga LLM

• Para pendiri percaya pada playbook VC: “harga token akan turun 10x, jadi kalau bisa bertahan sebentar lagi, struktur bisnis akan berubah menjadi bermargin tinggi”, lalu pada tahap awal menjalankan produk langganan di level biaya pokok atau bahkan merugi
• Memang, seperti GPT-3.5, harga token model lama turun lebih dari 10x, tetapi permintaan dari pengguna dan pasar selalu tertuju pada model terbaru dengan performa terbaik (SOTA)
• Dalam praktiknya, setelah 18 bulan margin tidak membaik dan malah memburuk
• Penurunan harga model lama hanya terasa pada model yang sudah di luar perhatian pasar, seperti “koran kemarin”

Struktur harga dan permintaan model terbaru

• Model terbaru seperti GPT-4 dan Claude 3 Opus selalu dirilis dengan harga tinggi yang kurang lebih serupa, dan sekalipun model lama menjadi sangat murah, penggunaan nyatanya tetap minim
• Pengguna hanya menginginkan “performa terbaik”, dan “model lama yang murah” tak lebih dari mobil bekas tua di pasar otomotif
• Yang benar-benar diinginkan saat memakai AI adalah hasil terbaik, jadi sangat jarang ada kasus pengguna secara sukarela memakai model lama demi menghemat biaya
• Pada akhirnya, agar tetap kompetitif di pasar, perusahaan harus selalu menyediakan model terbaru yang paling mahal, dan karena itu biaya pokok terus terjaga tinggi
  • Ibarat harga mobil bekas era 90-an turun, tetapi konsumen tetap membeli mobil baru

Ledakan penggunaan token

• Seiring performa model meningkat, muncul fenomena jumlah token yang dikonsumsi oleh satu pekerjaan meningkat secara eksponensial
• Pekerjaan yang dulu selesai dengan 1.000 token kini bisa menghabiskan 100.000 token
• Dulu cukup dengan satu kalimat pertanyaan dan satu kalimat jawaban, tetapi sekarang AI berjalan terus selama 10–20 menit untuk riset kompleks, loop, atau orkestrasi, sambil mengonsumsi token dalam jumlah besar
• Karena AI dipakai untuk riset/analisis yang lebih mendalam, muncul pola seperti “sekali jalan 20 menit, berjalan terus 24 jam sehari”, sehingga rata-rata penggunaan harian per pengguna melonjak tajam
  • Misalnya, jika fitur deep research senilai $1 dipakai sekali saja setiap hari, biaya langganan $20 sudah tidak masuk akal secara unit ekonomi
• Penurunan harga per unit tertutup oleh kenaikan total konsumsi token, sehingga paket $20/bulan bahkan tidak mampu menanggung satu pekerjaan seharga $1 per hari

Kegagalan paket tak terbatas

• Anthropic melalui Claude Code dan lainnya mencoba berbagai cara penghematan biaya: paket tak terbatas $200/bulan, optimasi token otomatis, hingga pemanfaatan PC pengguna
• Namun sebagian power user mendekati 10 miliar token per bulan (setara 12.500 eksemplar “War and Peace”), karena pengguna memanfaatkan otomasi, pekerjaan berulang, dan loop untuk mendorong ledakan penggunaan token
  • “Penggunaan AI terlepas dari waktu manusia, API berjalan 24 jam dan memicu ledakan token”
• Pada akhirnya, meski ada inovasi engineering, paket itu tetap di-rollback
• Kesimpulannya: model langganan tak terbatas kini tidak mungkin dijalankan, karena persamaan ekonominya memang tidak masuk akal

Dilema yang dihadapi seluruh industri

• Jika tetap memaksakan model langganan, risiko memburuknya profitabilitas dan kolaps akan makin besar
• Semua perusahaan AI tahu bahwa usage-based pricing adalah satu-satunya jawaban, tetapi jika kompetitor berbasis langganan muncul, risiko pengguna pindah sangat tinggi
• Karena struktur “dilema narapidana”, semua pihak terdorong masuk ke kompetisi subsidi untuk power user
• Cursor, Replit, dan lainnya juga mengambil pendekatan “pertumbuhan dulu, profitabilitas urusan nanti”, tetapi pada akhirnya restrukturisasi karena masalah profitabilitas akan sulit dihindari

Tiga solusi yang realistis

• 1. Penagihan berbasis penggunaan
  • Jika sejak awal menerapkan model ekonomi yang jujur, perusahaan bisa merancang struktur pendapatan yang tidak melampaui biaya pokok. Dalam jangka panjang, ini satu-satunya model yang berkelanjutan
  • Namun, konsumen sangat tidak menyukai tarif terukur (metered billing), sehingga sulit menjadi sukses secara massal
• 2. Menargetkan pasar enterprise dengan biaya perpindahan yang tinggi
  • Melalui penjualan B2B ke pelanggan enterprise dengan switching cost tinggi (misalnya perusahaan besar, lembaga keuangan), begitu berhasil masuk, pembatalan nyaris mustahil dan marginnya tinggi
  • Bidang system of record (SOR, seperti CRM/ERP/EHR) adalah contoh sukses yang representatif (misalnya implementasi untuk 40 ribu engineer di Goldman Sachs)
• 3. Menciptakan nilai tambah lewat integrasi vertikal (Vertical Integration)
  • Seperti Replit, inference LLM itu sendiri disediakan sebagai ‘produk umpan’ yang merugi, lalu keuntungan dihasilkan dari berbagai layanan di atasnya seperti hosting, database, deployment, monitoring
  • Membangun struktur yang meningkatkan penggunaan AI lalu mengarah ke pasar infrastruktur
• Ke depan, harga token kemungkinan akan terus turun, tetapi ekspektasi pengguna dan jumlah penggunaannya juga akan meningkat secara eksponensial
• Perusahaan yang hanya bertahan pada strategi langganan-dan-pertumbuhan pada akhirnya berisiko menghadapi “pemakaman yang mahal”

Ringkasan

• Optimisme seperti “tahun depan token akan 10x lebih murah” saja tidak cukup untuk mempertahankan bisnis
  • Pengguna selalu menuntut ekspektasi dan volume penggunaan yang lebih tinggi
• Rumus perkembangan model = ledakan penggunaan = kenaikan biaya pokok kini benar-benar berlaku, dan pada akhirnya bisnis AI yang berkelanjutan harus beralih ke struktur baru melalui penagihan berbasis penggunaan, kontrak perusahaan besar, atau integrasi vertikal
  • Jika ingin mempertahankan bisnis, dibutuhkan pendekatan struktural baru seperti strategi 'neo-cloud'