Meninjau Ulang Lean Analytics untuk Era AI dan Agen

• Kerangka inti Lean Analytics yang terbit pada 2013 (memahami tahap, memahami model bisnis, OMTM, benchmark) masih tetap berlaku, tetapi sebagian besar metrik spesifik perlu didefinisikan ulang agar sesuai dengan era AI
• Pada produk AI, Time to Value sangat dipersingkat, dan pengguna mengharapkan hasil berkualitas tinggi pada percobaan pertama serta cepat churn jika gagal
• Engagement bukan lagi sekadar tinggi atau rendah, melainkan berubah menjadi metrik arah yang harus membedakan waktu digunakan untuk apa (berjuang sendiri vs pekerjaan AI vs eksplorasi)
• Karena sifat output AI yang probabilistik, kualitas menjadi metrik kelas satu, dan tanpa eval harness, produk tidak lebih dari sekadar "vibes"
• Karena struktur biaya variabel berbasis token, power user justru bisa menimbulkan kerugian, sehingga pelacakan margin kotor per pengguna aktif dan model harga berbasis hasil menjadi tantangan utama

---

Ringkasan prinsip inti Lean Analytics

• Lean Analytics dibangun di atas 4 ide inti: memahami tahap, memahami model bisnis, OMTM (One Metric That Matters), benchmark (lines in the sand)
• Model 5 tahap: urutan yang dilalui semua bisnis adalah Empathy → Stickiness → Virality → Revenue → Scale
  • Banyak pendiri menipu diri sendiri soal tahap bisnis mereka, dan kecenderungan mengejar pertumbuhan hockey-stick tanpa fondasi yang kuat tetap sama di era AI
• 6 arketipe model bisnis: SaaS, e-commerce, marketplace dua sisi, konten buatan pengguna/komunitas, aplikasi mobile, media
  • Klasifikasi ini memang sudah terasa usang, tetapi prinsip untuk memahami cara bisnis sendiri bekerja tetap penting
• OMTM: apa pun tahap dan model bisnisnya, selalu ada satu metrik tunggal yang harus menjadi fokus
  • Karena tidak semua hal bisa diperbaiki sekaligus, ini digunakan untuk mengidentifikasi apa yang harus dikerjakan dan bagaimana mengukurnya
• Benchmark (lines in the sand): standar yang menunjukkan apakah Anda sudah layak melangkah ke tahap berikutnya
  • Pada produk AI dan agen, metrik dan target berubah dengan cepat

Hal-hal yang tidak berubah di era AI

• Prinsip inti tidak berubah, tetapi bisnis yang dibangun saat ini pada dasarnya berbeda
• AI mengubah antarmuka pengguna, model harga, margin keuntungan, dan lain-lain, sementara produk AI-first dan produk agen berbeda juga dalam cara penggunaannya
• Model 5 tahap tidak hilang, tetapi setiap tahap kini diberi tanda tanya — setiap tahap harus didefinisikan ulang dengan menggabungkan metrik lama dan metrik baru

Metrik produk: 6 perubahan inti

• Perubahan 1: Runtuhnya Time to Value

  • SaaS tradisional memberikan nilai melalui onboarding bertahap, tetapi pada produk AI pengguna mengharapkan hasil berkualitas tinggi secara instan
    • Jika memasukkan dokumen yang berantakan, mereka mengharapkan proposal yang rapi; jika mengunggah spreadsheet, mereka mengharapkan hasil analisis; jika memasukkan sketsa wireframe, mereka mengharapkan UI yang berfungsi
    • Cara input beragam, tetapi ekspektasinya tetap sama: output cepat dan berkualitas tinggi, pada percobaan pertama
  • Time to Competency juga runtuh — bahkan pengguna nonteknis dapat menghasilkan output setingkat ahli tanpa kurva pembelajaran
    • Jika dulu kurva aktivasi adalah kurva pembelajaran, kini itu dipersingkat menjadi satu atau dua interaksi
  • Ini positif, tetapi bisa berdampak negatif pada model bisnis: jika satu orang menangani pekerjaan tiga orang dengan AI, jumlah seat, pendapatan ekspansi, dan kurva ACV bisa terpukul
    • Pengguna senang, seat lebih sedikit — ketegangan ini dimulai dari Perubahan 1 dan merambat ke semua metrik hilir
  • Yang diukur: waktu hingga hasil berguna pertama, persentase pengguna yang mendapatkan hasil berguna pada percobaan pertama mereka, terlepas dari prompt, upload, atau sketsa

• Perubahan 2: Activation tidak lagi bersifat menentukan

  • Dalam SaaS tradisional, activation adalah peristiwa deterministik — ketika pengguna menyelesaikan langkah yang ditetapkan, hasil yang dapat diprediksi pun muncul
  • Dalam produk AI, pengguna dapat menyelesaikan semua langkah funnel activation tetapi tetap menerima hasil yang kurang memadai
    • Di dashboard itu ditandai sebagai activated, tetapi kenyataannya tidak demikian
  • Activation bukan gerbang biner, melainkan peristiwa berbobot kualitas
  • Model Hooked milik Nir Eyal (trigger → action → variable reward → investment) masih berlaku, tetapi dalam loop AI ada variabilitas di kedua sisi action
    • Pengguna menguji produk dengan cara yang tidak dirancang, dan kualitas hasil juga bervariasi — ada dua sumber variabilitas dalam satu loop
  • Activation majemuk bertahap tetap valid untuk produk AI — jika pengaturan seperti menghubungkan konteks, mengunggah materi referensi, atau menyusun template meningkatkan kualitas penggunaan pertama, ini justru efektif
    • Perubahan intinya bukan bahwa "activation menjadi lebih pendek", tetapi bahwa penyelesaian langkah tidak menjamin pemberian nilai
  • Yang diukur: selain metrik penyelesaian funnel yang ada, lacak juga sinyal kualitas pada percobaan pertama dari Perubahan 1 — funnel menunjukkan penyelesaian langkah, sedangkan sinyal kualitas menunjukkan apakah nilai benar-benar diberikan, dan keduanya harus ditampilkan berdampingan di dashboard

• Perubahan 3: Engagement adalah metrik yang bergantung arah

  • Pemahaman tradisional: semakin lama waktu yang dihabiskan di dalam produk, semakin baik — sesi panjang, DAU tinggi, dan penggunaan fitur yang dalam masuk ke deck investor
  • Dalam AI, pertanyaan utamanya bukan naik atau turunnya engagement, melainkan waktu pengguna dipakai untuk apa
    • Waktu berjuang (regenerate, re-prompt, menyesuaikan input demi hasil berguna) = engagement buruk, kegagalan yang dibungkus sebagai engagement
    • Waktu AI bekerja untuk pengguna (memanipulasi spreadsheet, membuat proposal, meninjau dokumen) = engagement baik, menunjukkan tenaga kerja AI
    • Waktu eksplorasi dan kreasi (brainstorming, ideasi, iterasi desain) = engagement baik, intuisi tradisional masih berlaku
    • Waktu pengguna nol, pekerjaan selesai = hasil ideal untuk produk agent dan automation
  • GitHub Copilot menggunakan acceptance rate saran sebagai metrik inti, dan di seluruh industri angkanya sekitar 27~30%
    • Ini KPI yang tidak ada di SaaS tradisional, yang secara langsung mengukur bukan apakah "pengguna bertahan di sana", tetapi apakah "pekerjaan AI berguna"

• Perubahan 4: Stickiness adalah flow, bukan hambatan

  • Stickiness tradisional adalah permainan frekuensi (DAU/MAU, kunjungan ulang, loop kebiasaan), dan Andrew Chen pernah menunjukkan keterbatasan DAU/MAU — tidak cocok untuk produk episodik tetapi bernilai tinggi, atau alat dengan ritme mingguan
  • AI tidak menghapus DAU/MAU, tetapi memperbesar keterbatasan yang sudah ada
  • Dua hal terjadi secara bersamaan:
    • Pengguna mengharapkan ragam tugas yang lebih luas dari produk AI dibanding alat SaaS fungsi tunggal sebelumnya — task diversity per user menjadi vektor pertumbuhan baru yang sebelumnya tidak ada
    • Produk AI yang sticky bukan hambatan yang mengurung pengguna, melainkan sesuatu yang hadir di dalam flow kerja — selaras dengan konsep Trace Cohen: "Moats are dead. Long live canals"
      • "Parit berkembang lewat eksklusi, kanal berkembang lewat throughput"
  • Yang diukur:
    • Task diversity — apakah pengguna memperluas produk ke use case di luar cakupan awalnya
    • Kedalaman integrasi — berapa banyak tool dan sumber data pengguna yang terhubung ke produk
    • Trigger diversity — apakah yang membuat pengguna kembali hanya satu atau ada banyak
    • Workflow chaining — apakah produk melakukan handoff ke tool lain atau menerima handoff darinya
  • Ketika manusia bukan lagi pengguna utama, DAU/MAU lama menjadi metrik yang bermasalah
  • Metrik tambahan replacement breadth: jumlah tool terkait, langganan, atau proses manual yang digantikan pelanggan saat mengadopsi produk
    • Jika jawabannya 0, itu kanal kecil yang bisa dilewati; jika angkanya bermakna, itu jalur yang dilalui semuanya

• Perubahan 5: Kualitas adalah metrik kelas satu

  • Akar masalahnya sama seperti Perubahan 2: output AI bersifat probabilistik, bukan deterministik — perubahan ini merambat ke semua metrik yang diwarisi dari playbook SaaS
  • Tradisional: fitur bekerja atau tidak bekerja — setelah dirilis, lakukan instrumentasi lalu lanjut
  • Realitas AI: output adalah distribusi, bukan atribut — produk yang bagus 80% dan produk yang bagus 95% terasa seperti produk yang sepenuhnya berbeda bagi pengguna
  • Kasus Klarna: setelah memperkenalkan customer support khusus AI pada 2024, perusahaan mengklaim AI melakukan pekerjaan 700 agen; namun pada pertengahan 2025 CEO secara terbuka menarik klaim itu dan kembali merekrut manusia
  • Brittleness — kualitas dapat diam-diam mundur karena model yang tidak dimiliki, integrasi yang nyaris tak dapat dikendalikan, dan pembaruan penyedia upstream
    • Kualitas bisa turun meski tim tidak menyentuh kode — kategori risiko baru
  • Langkah pertahanan: lakukan evaluasi perbandingan antar-model terhadap prompt nyata, jalankan eval yang sama pada semua model untuk mendeteksi kemunduran dan peningkatan
  • Yang diukur:
    • Thumbs-up rate dan regenerate rate adalah sinyal inti
    • Lacak skor eval harness sebagai deret waktu seperti retention, dan terapkan pada semua model yang digunakan
    • Distribusi kualitas per cohort — pengalaman produk pengguna baru dan power user berbeda, tetapi kebanyakan tim tidak mengukur kesenjangan ini
  • Perspektif Alistair Croll: jika pada era Lean Startup MVP adalah eksperimen minimum untuk menguji asumsi paling berisiko, maka di era AI eval suite adalah MVP itu sendiri — "kumpulan tindakan minimum yang dapat mengotomatisasi dan mengukur perbaikan"

• Perubahan 6: Kepercayaan dan kenyamanan terhadap AI adalah indikator pendahulu

  • Kemahiran teknis selalu penting, tetapi dalam AI tingkat kenyamanan terhadap teknologinya sendiri menjadi variabel dan memengaruhi semua metrik hilir
  • Studi Gallup Februari 2026 (23.717 karyawan di AS): yang membedakan pengguna AI dan nonpengguna AI bukanlah akses ke alat, melainkan apakah mereka memandang AI berguna, etis, dan cocok untuk workflow mereka
  • Stanford 2026 AI Index Report: tingkat adopsi karyawan global 58%, sementara AS tertinggal jauh di 28,3% dibanding Singapore 61% dan UAE 54%
    • Produk yang sama dapat berada di atas kelompok pengguna yang sangat berbeda, dan kebanyakan tim tidak mengukur ini
  • Dalam B2B, kurva activation, stickiness, dan task diversity antara pengguna AI-native dan pengguna yang ragu terhadap AI bisa berbeda secara signifikan
    • Pengguna AI-native memperluas tool, melakukan prompt dengan cara yang tidak dirancang, dan mendapatkan lebih banyak nilai per sesi
    • Pengguna yang ragu terhadap AI memakai tool secara hati-hati dan kurang maksimal, lalu diam-diam menyimpulkan bahwa "ini tidak cocok untuk saya"
    • Jika diukur sebagai satu cohort, rata-rata akan menyembunyikan cerita yang sebenarnya
  • Dalam B2C, produk untuk pendamping, dukungan kesehatan mental, persahabatan, dan kesejahteraan emosional muncul sebagai kategori nyata

• Data Stanford: 52% responden global antusias terhadap pendamping AI, lebih dari 80% di Singapore dan Indonesia

  • Dalam konteks ini, penciptaan nilai diukur dari niat pengguna untuk terus terlibat, berdialog, dan berinteraksi secara emosional
  • Kepercayaan bukan satu konsep tunggal, melainkan setidaknya 4 dimensi independen:
    • kepercayaan pada output (akurasi·kegunaan), kepercayaan pada pemrosesan data (ke mana prompt pergi), kepercayaan pada keamanan (kemungkinan penyalahgunaan·kebocoran), kepercayaan pada reliabilitas (apakah pengguna tidak akan kerepotan saat bergantung padanya)
  • Yang diukur:
    • kurva adopsi·aktivasi per kohor kenyamanan AI
    • accept rate — saat dianalisis per kohor kenyamanan AI, dapat menunjukkan seberapa cepat kepercayaan dibangun; yang penting bukan nilai absolut melainkan kemiringan kurva
    • override rate — frekuensi pengguna menulis ulang·mengedit hasil AI; penurunan adalah sinyal naiknya kepercayaan
    • untuk produk B2C yang intim secara emosional: kedalaman sesi, tingkat kembali ke fitur sensitif, tone kualitatif interaksi
    • sinyal kekhawatiran data·keamanan: opt-out fitur, tiket dukungan "ini pergi ke mana?", penggunaan yang menghindari input sensitif

Metrik model bisnis: 3 perubahan inti

• Perubahan 1: biaya per tugas yang berhasil menjadi perhitungan CAC baru

  • SaaS tradisional: CAC, LTV, dan margin kotor relatif stabil per pelanggan; biaya turun saat skala membesar; biaya marjinal untuk menambah pengguna nyaris nol
  • Realitas AI: power user justru benar-benar menimbulkan biaya — token adalah biaya variabel, langganan tarif tetap + pengguna berat = margin negatif per akun
    • Kurva LTV SaaS tidak lagi berlaku, dan semakin tinggi penggunaan, semakin memburuk unit economics dalam struktur terbalik
  • Yang diukur: margin kotor per pengguna aktif (berdasarkan pengguna aktif, bukan pengguna berbayar), biaya per tugas yang berhasil, rasio biaya model terhadap pendapatan, biaya marjinal vs pendapatan marjinal dari power user
  • Fin dari Intercom: bukan ditagih per seat, melainkan $0.99 per penyelesaian yang berhasil — model berbasis hasil yang secara matematis jujur terhadap biaya operasional nyata produk AI
  • ElevenLabs sejak hari pertama mengenakan biaya berbasis penggunaan, sementara Anthropic dan OpenAI secara terbuka bergulat dengan ekonomi langganan konsumen
  • Jika penetapan harga dan metrik tidak mencerminkan biaya komputasi variabel, berarti Anda berjalan tanpa visibilitas

• Perubahan 2: penetapan harga menentukan produk

  • Penetapan harga berbasis penggunaan dan berbasis hasil masih tahap awal, dan model hibrida (biaya bulanan rendah + penggunaan + kelebihan pakai) kemungkinan menjadi bentuk akhir sebagian besar produk AI
  • Model harga menyampaikan definisi keberhasilan kepada pengguna — harus selaras dengan unit economics dasarnya; jika tidak selaras, hasilnya margin terkikis atau pertumbuhan terhambat (atau keduanya)
  • "AI query tak terbatas seharga $20 per bulan" dan "$0.99 per hasil yang berhasil" bukan sekadar model harga berbeda, tetapi produk yang sepenuhnya berbeda dari sudut pandang pengguna
    • Yang pertama: "bereksperimenlah sebebasnya, biaya belajar kami yang tanggung"
    • Yang kedua: "kami hanya menang saat Anda menang"
  • Sebagian besar PM dulu tidak perlu memikirkan harga secara mendalam, tetapi PM AI-native harus memperlakukan harga sebagai inti dari desain produk
  • Fitur AI, tidak seperti fitur SaaS tradisional, tidak murah untuk dijalankan — fitur AI yang mahal tetapi tidak memberi nilai besar bagi pengguna bisa merusak keseluruhan produk

• Perubahan 3: eksperimen bukan lagi vanity metric

  • Pengembangan produk berbasis AI membuat kecepatan deployment melonjak drastis — biaya merilis fitur runtuh
  • Jika merilis lebih cepat tanpa benar-benar melakukan eksperimen, itu adalah "vibe-stuffing" — menambahkan fitur hanya karena bisa, tanpa bukti
    • Sebagian besar fitur gagal menciptakan nilai, sambil menggembungkan produk dan codebase serta menambah beban kognitif pengguna
  • Setiap fitur AI menimbulkan biaya pemanggilan berkelanjutan setiap kali digunakan — inferensi tidak gratis
    • Pembengkakan akibat vibe-stuffing bukan sekadar kompleksitas, tetapi pajak yang bertambah secara majemuk seiring penggunaan
    • Pembengkakan produk di era AI adalah pembunuh margin
  • Eksperimen yang kuat adalah satu-satunya pertahanan, dan nilai Lean Analytics justru meningkat
    • Disiplin memilih metrik, menulis hipotesis, pressure test, dan menentukan tindakan berikutnya adalah pembeda antara tim yang belajar dan tim yang sekadar merilis
  • Filter yang berguna: untuk setiap eksperimen, catat hipotesis dan kriteria keputusan sebelum rilis — kalau tidak, itu bukan eksperimen melainkan sekadar rilis
  • Yang diukur: jumlah eksperimen per kuartal, hipotesis yang dicatat sebelum rilis, penghentian fitur berbasis data, biaya per fitur yang sedang beroperasi (bukan hanya dipakai atau tidak, tetapi apakah biaya operasionalnya dapat dibenarkan)

• Kepadatan nilai (Value Density)

  • Prinsip yang menembus tiga perubahan model bisnis ini: ungkapan Ben Murray (The SaaS CFO) — "Jika SaaS adalah soal efisiensi margin, maka AI adalah soal kepadatan nilai, mengoptimalkan seberapa banyak output, produktivitas, dan tenaga kerja yang digantikan untuk setiap $1 komputasi"
  • Laporan ICONIQ Januari 2026: pada perusahaan AI B2B tahap scaling, inferensi mencapai 23% dari pendapatan, margin kotor AI rata-rata 52% pada 2026 (naik dari 41% pada 2024, tetapi masih di bawah SaaS matang di kisaran 70–90%)
  • Bessemer: margin kotor perusahaan AI-first berada di kisaran 50–60%
  • Jason Lemkin: "Semakin tumbuh, semakin banyak inferensi yang dibutuhkan, dan itu tidak bisa dikurangi tanpa menurunkan kualitas produk"
  • Tiga rasio untuk mengukur kepadatan nilai (bergerak independen satu sama lain):
    • Biaya pengiriman per tugas — berapa biaya token dan komputasi untuk menghasilkan output yang berhasil
    • Pendapatan yang diperoleh per $1 komputasi — apakah penagihan cukup untuk menutup biaya variabel + margin
    • Nilai yang diberikan ke pengguna per $1 komputasi — metrik yang dilewati sebagian besar tim; diagnosis hanya bekerja jika ketiganya diukur

Masa depan: manusia mundur dari loop

• "Membangun terlalu banyak (Build-too-much)" adalah overfitting baru

  • Membangun jadi terlalu mudah sehingga muncul risiko merilis lebih banyak daripada yang bisa diserap pengguna, atau lebih banyak daripada yang didukung data
  • Alistair Croll: AI menghilangkan gesekan yang dulu memaksa penghapusan — kode lama bertahan karena biaya penulisan ulang, fitur lama bertahan karena biaya pembangunan, tetapi kini tidak ada yang dibersihkan
    • Fallback menumpuk sebagai "dinding penopang tak terlihat", dan testing yang dihasilkan AI dioptimalkan agar lolos sendiri, bukan untuk memverifikasi perilaku yang diinginkan
    • "Menghapus terasa lebih berisiko daripada mempertahankan, dan tanpa gesekan semuanya akan tetap tinggal"
  • PM yang mengukur penghapusan sama seriusnya dengan penambahan akan menang

• Ketika agen adalah pengguna

  • Saat agen Claude menggunakan produk tanpa UI sebagai pengganti manusia — menjadi tidak jelas siapa penggunanya, serta apa arti aktivasi, panjang sesi, dan engagement
  • Langkah praktis: instrumentasikan traffic agen sebagai kohort terpisah — bedakan "manusia yang mengoperasikan UI" dan "agen yang memanggil API" melalui string user-agent, pola API, dan sebagainya
    • Perilakunya berbeda, kriteria suksesnya berbeda, dan mencampurnya ke dalam satu metrik akan memberi jawaban yang salah untuk keduanya
  • Konsep HX (Harness Experience) dari Rob May: jika selama 30 tahun UX membuat manusia mengeklik tombol yang tepat, agen otonom akan melewati semuanya
    • "Bukan funnel yang rusak, melainkan sudah tidak relevan"
    • HX adalah lapisan desain untuk manusia yang mengendalikan, memercayai, dan mengaudit armada agen — pengguna bukan lagi pengemudi, melainkan direktur
    • Alih-alih klik dan konversi, ukur hasil, supervisi, dan intervensi

• Discoverability dan reuse

  • Dua masalah, satu akar penyebab: AI yang bukan milik Anda memutuskan apakah produk Anda digunakan atau tidak
  • Discoverability: saat pengguna meminta ChatGPT, "bantu rencanakan perjalanan ke Meksiko", ChatGPT yang memilih antara Expedia, Booking, atau Kayak — AI, bukan pengguna, yang memilih alat
    • Selama 30 tahun, distribusi berarti membuat manusia menemukan lalu memilih; namun di dunia agen, persaingan terjadi untuk logika pemilihan AI
  • Reuse: meski pengguna berlangganan Canva dan menginstal aplikasi ChatGPT, saat mereka meminta desain lewat ChatGPT, AI yang memutuskan setiap kali apakah Canva akan dipanggil
    • Memiliki pelanggan bukan berarti memiliki momen ketika nilai benar-benar tercipta — ini adalah risiko platform yang baru
  • Yang dilacak: kesenjangan antara "pengguna yang memiliki atau membayar produk" dan "pengguna yang benar-benar dipanggil oleh AI"
    • Pelanggan berbayar yang tidak dipanggil AI selama 30 hari lebih berisiko daripada pelanggan yang tidak login langsung

• Produk agen vs agen

  • Ketika produk menjadi jaringan agen yang berkolaborasi dengan agen milik pihak lain — arti OMTM, stickiness, dan churn masih belum jelas
  • Keempat tahap model Hooked kini ditempeli pertanyaan yang belum ada lima tahun lalu:
    • apa arti trigger saat AI yang memicu, apa arti action saat AI yang bertindak, bagaimana memberi reward pada entitas yang tidak mengalami reward, dan apakah investment masih berlaku dalam sistem yang tidak punya memori atas loop sebelumnya atau justru punya memori sempurna

Hal yang harus mulai dilakukan hari ini

• Audit metrik engagement: Bukan bertanya "apakah engagement naik-turun", tetapi "waktu pengguna dipakai untuk apa" — waktu yang dihabiskan untuk berjibaku adalah kegagalan yang dikemas sebagai engagement
• Tambahkan tampilan kualitas per kohort: Ukur kualitas output pengguna baru dan power user secara terpisah — kesenjangannya bisa lebih besar dari perkiraan dan secara tepat menunjukkan titik perbaikan onboarding
• Periksa laba kotor per pengguna aktif: Gunakan basis pengguna aktif, bukan pengguna berbayar — dashboard saat ini mungkin tidak memberi tahu apakah pengguna terbaik Anda adalah aset terbaik atau justru liabilitas terbesar
• Mulai ukur trafik agen secara terpisah: Meski saat ini baru 2%, dapatkan baseline sebelum bentuk trafik berubah
• Bangun eval harness: Jika tidak bisa mengevaluasi secara sistematis apakah AI menjalankan tugas yang diinginkan, itu bukan produk melainkan "vibes"
• Evaluasi cara membangun fitur: Periksa apakah Anda menjalankan eksperimen yang ketat, atau malah membunuh produk dengan vibe stuffing