Cara Menemukan Peluang Pertumbuhan Tersembunyi dalam Produk

• Ringkasan transkrip video YouTube yang membagikan cara Albert Cheng, yang pernah mengembangkan produk berlangganan kelas dunia seperti Duolingo dan Grammarly, menghubungkan pengguna dengan nilai produk
  • Menekankan bahwa pertumbuhan bukan sekadar mengakali metrik, melainkan proses penyampaian nilai yang berpusat pada pengguna
• Melalui framework Explore dan Exploit, ia menunjukkan strategi untuk memperluas insight dari eksperimen ke seluruh produk dan mengamplifikasi satu eksperimen yang berhasil hingga lebih dari 10x
• Di Grammarly, dengan menyampel fitur berbayar kepada pengguna gratis untuk menunjukkan nilai sejati produk, mereka berhasil meningkatkan tingkat upgrade 2x
• Di Chess.com, dengan beralih dari menampilkan kesalahan setelah kalah menjadi umpan balik positif yang menunjukkan langkah bagus, mereka meningkatkan game review 25%, langganan 20%, dan retensi secara signifikan
• Kunci keberhasilan produk langganan konsumen adalah retensi pengguna yang tinggi (D1 di atas 30–40%), serta mengisyaratkan bahwa pertumbuhan organik melalui word-of-mouth dan penyampaian nilai yang luas lewat produk gratis adalah hal yang esensial

---

Perkenalan dan latar belakang Albert Cheng

• Salah satu pakar pertumbuhan konsumen terbaik di dunia, yang memimpin pertumbuhan dan monetisasi di Duolingo, Grammarly, dan Chess.com
• Di awal kariernya, ia mengembangkan fitur streaming dan game di YouTube yang digunakan oleh lebih dari 20 juta orang
• Pendekatan uniknya terhadap pertumbuhan menggabungkan pemasaran, data, strategi, dan manajemen produk

Transisi dari pianis menjadi pemimpin pertumbuhan

• Tumbuh besar dengan orang tua imigran Taiwan sambil berlatih piano klasik 90 menit setiap hari
• Memiliki perfect pitch, sehingga bisa langsung mengenali not dan mempelajari musik dengan cepat
• Sempat mempertimbangkan masuk sekolah musik, tetapi kemudian beralih ke engineering
• Kesamaan antara piano dan pertumbuhan
  • Pengulangan berkelanjutan dan belajar dari kesalahan: membangun loop umpan balik yang cepat dan resiliensi
  • Kreativitas di atas fondasi yang terstruktur: menghasilkan solusi kreatif di atas struktur model pertumbuhan dan metrik, mirip dengan menciptakan musik indah di atas teori musik

Framework Explore dan Exploit

• Konsep yang berasal dari kelas Reforge milik Brian Balfour, yang dikenalnya melalui Nurmal, partner engineering di Grammarly
• Explore: proses menemukan gunung yang tepat
• Exploit: memusatkan sumber daya untuk mendaki gunung itu secara efektif
• Sebagian besar perusahaan condong ke salah satu ekstrem
  • Explore berlebihan: tim menjadi tidak fokus dan mencoba 100 ide secara acak tanpa strategi
  • Exploit berlebihan: berujung pada kejenuhan dan stagnasi, serta hanya mencapai optimasi lokal
• Tim growth sering kali mudah terjebak dalam mode exploit

• Penerapan pada level mikro: kasus Chess.com

  • Dylan, PM fitur pembelajaran di Chess.com, mengerjakan peningkatan engagement game review
  • Game review: fitur setelah permainan berakhir, di mana pelatih virtual mengajarkan langkah terburuk dan langkah terbaik
  • Temuan melalui pelacakan data
    • 80% pengguna yang memakai game review hanya menggunakannya setelah menang
    • Semula diperkirakan fitur ini akan dipakai untuk menganalisis kekalahan atau kesalahan, tetapi psikologi manusia ternyata berbeda
  • Perubahan pengalaman produk
    • Alih-alih menunjukkan kesalahan setelah kalah, mereka menampilkan langkah bagus dan langkah terbaik
    • Pelatih memberikan pesan penyemangat: "kekalahan adalah bagian dari proses belajar"
  • Hasil
    • Game review naik 25%
    • Langganan naik 20%
    • Retensi pengguna meningkat tajam
  • Tahap exploit: membagikan insight ke seluruh perusahaan
    • PM puzzle menerapkan pola positif itu ke produknya sendiri
    • Menampilkan tingkat keberhasilan, menyesuaikan copy, mengubah warna tombol, dan lain-lain
    • Keberhasilan eksperimen bisa diskalakan 10x

• Tingkat keberhasilan eksperimen dan perbaikan berkelanjutan

  • Tingkat kemenangan eksperimen umumnya 30–50%
  • Produk konsumen sangat sulit diprediksi dan banyak hipotesis yang ternyata salah
  • Eksperimen yang sangat berhasil maupun yang gagal besar sama-sama sangat berharga
    • Insight wajib dibagikan ke seluruh perusahaan
    • PM asal tidak harus menemukan semua cara penerapannya sendiri
    • Jika hipotesis dan temuan dinyatakan dengan jelas, tim lain dapat menghasilkan ide turunan
  • Untuk meningkatkan tingkat keberhasilan dan dampak, anggota tim berfokus di sekitar insight tersebut

• Menentukan kapan harus beralih antara explore dan exploit

  • Chess.com menjalankan sekitar 250 eksperimen per tahun
  • Berinvestasi pada Experiment Explorer Tools
    • Memberi gambaran menyeluruh atas eksperimen yang sedang berjalan
    • Memahami pola antara hipotesis dan pembelajaran
  • Jika eksperimen yang tidak signifikan secara statistik mulai meningkat, itu adalah sinyal exploit berlebihan
    • Mungkin memang sudah tidak ada lagi yang bisa diperas
    • Tim didorong untuk brainstorming lagi dan kembali ke pemikiran divergen

Mempercepat pertumbuhan dengan AI

• Fitur text-to-SQL

  • Digunakan di channel Slack permintaan data Chess.com
    • Dulu: analis data menanggapi manual pertanyaan ad hoc (jumlah pelanggan di Afrika Selatan, waktu bermain puzzle bulan lalu, dan sebagainya)
    • Sekarang: bot Slack otomatis menjalankan query dan memberikan analisis
  • Dampaknya
    • Bot Slack dilatih sebagai pemberi jawaban pertama
    • Seluruh perusahaan mengambil keputusan dengan lebih berbasis data
    • Terjadi ledakan jumlah pertanyaan
      • Pertanyaan yang dulu segan ditanyakan kini bisa ditanyakan dengan nyaman
      • Efek yang mirip dengan ChatGPT: lawan bicara yang nyaman membuat perbedaan besar

• Alat prototyping AI

  • Memperpendek proses dari ide ke solusi representatif
  • Dulu: ada banyak tahap dengan campur tangan manusia (menulis ide → spesifikasi → review → desain, dan seterusnya)
  • Pendekatan Chess.com
    • Membangun prototype AI untuk layar utama (alur onboarding, home screen, papan catur)
    • Menggunakan alat seperti v0, Lovable
    • Dibagikan ke seluruh perusahaan untuk dipakai sebagai titik awal
    • Ide bisa dengan cepat divisualisasikan, didiskusikan, dan diuji

• AI stack

  • PM: Vzero
  • Desainer: Figma Make
  • Engineer: Cursor, Claude Code, GitHub Copilot
  • Pemasaran: alat untuk terjemahan, subtitle, dan adaptasi konten
  • Dukungan pelanggan: Intercom Fin
  • Tantangan: transisi mulus dari tinkering ke workflow masih belum terpecahkan
    • Setiap fungsi memiliki alat favorit yang berbeda
    • Interoperabilitas antartool masih kurang
    • Untuk deployment ke production, handoff antarfungsi masih tetap dibutuhkan
    • Sedang ditingkatkan melalui investasi pada komponen design system dan MCP

Kasus sukses monetisasi terbesar Grammarly

• Latar belakang dan identifikasi masalah

  • Grammarly adalah asisten menulis berbasis AI yang tersedia sebagai ekstensi Chrome atau klien desktop
  • Model bisnis freemium: lebih dari 90% pengguna gratis, sisanya pelanggan berbayar
  • Tim Kyla, PM konversi langganan, bertanggung jawab memperbaiki jalur konversi dari gratis ke berbayar
  • Masalah awal yang ditemukan
    • Pelacakan terhadap jenis saran yang diterima pengguna dan frekuensi kemunculan paywall masih kurang memadai
    • Perlu membangun instrumentasi lebih dulu

• Insight utama

  • Hanya sebagian sangat kecil pengguna gratis yang menerima semua saran
    • Sebagian besar hanya menerima secara selektif
  • Pengalaman nyata pengguna gratis: Grammarly hanyalah alat untuk memperbaiki ejaan dan tata bahasa
    • Karena saran gratis berfokus pada correctness
  • Fitur berbayar: memperbaiki nada agar lebih empatik, meningkatkan kejelasan, menulis ulang seluruh kalimat, dan lain-lain

• Solusi: sampling saran berbayar

  • Menyampel berbagai saran berbayar dan menempatkannya di seluruh alur menulis pengguna gratis
  • Memberikan pratinjau terbatas atas fitur berbayar
  • Kekhawatiran: jika diberikan terlalu banyak, niat berlangganan bisa menurun
  • Hasil: justru sepenuhnya sebaliknya
    • Pengguna memandang Grammarly sebagai alat yang jauh lebih kuat
    • Tingkat upgrade hampir 2x

• Pelajaran monetisasi

  • Untuk produk freemium, produk gratis harus mencerminkan keseluruhan kemampuan produk
  • Sebagian fitur berbayar memang menimbulkan biaya, tetapi jika ditampilkan sebaik mungkin, itu sendiri akan terbayar
  • Konsep reverse trial, bukan free trial berbasis waktu
    • Memberikan perbaikan saat menulis secara real time
    • Hanya diberikan dalam jumlah tertentu per hari lalu diperbarui kembali
  • Menyesuaikan pola industri dengan use case spesifik Grammarly

Freemium vs. model trial

• Alasan memilih model langganan freemium

  • Berorientasi misi: tujuan pendiri untuk menyebarkan produk seluas mungkin
    • Duolingo (pendidikan), Grammarly (menulis), dan Chess.com (catur) semuanya memiliki proposisi nilai yang luas secara global
    • hambatan masuk paling rendah adalah produk gratis
  • Pertumbuhan dari mulut ke mulut: produk tumbuh terutama lewat word of mouth
    • Bisa membangun efek jaringan: fitur sosial Duolingo
    • Permainan B2C2B Grammarly: pengguna gratis mendorong pembelian oleh tim atau rekan kerja
  • Proposisi nilai inti diberikan gratis secara permanen sambil mencicipkan fitur premium

• Trial vs. reverse trial

  • Reverse trial: kuat untuk fitur B2B, terutama jika ada lock-in
    • Mulai tanpa informasi kartu kredit
    • Menginvestasikan banyak waktu untuk penggunaan CRM atau membangun konten
    • Saat masa trial berakhir, kemungkinan besar tetap bertahan dan membayar
  • Free trial biasa: lebih umum pada produk konsumen
    • Pada produk konsumen, reverse trial lebih sulit berhasil

Kunci sukses produk langganan konsumen

• Pentingnya retensi pengguna

  • Retensi pengguna adalah emas bagi perusahaan langganan konsumen
  • Jika retensi rendah, seluruh beban terkonsentrasi pada pembayaran di hari pertama
    • Membayar biaya akuisisi pengguna
    • Perlu upsell agresif sebelum pola penggunaan kebiasaan terbentuk
  • Banyak aplikasi memakai pendekatan ini, tetapi sulit melampaui tahap awal

• Perbedaan jalur pertumbuhan

  • Duolingo dan Chess.com: bisnis berbasis word of mouth organik
    • Tumbuh dengan cara memperbesar pasar
    • Kontras dengan persaingan perebutan pangsa pasar di ruang yang sangat kompetitif
  • Di pasar yang kompetitif, perusahaan bersaing mendapatkan pengguna dengan bid tinggi

• Target retensi

  • Retensi pengguna baru (D1, D7, dll.)
    • Retensi D1 30~40%: cukup solid untuk aplikasi konsumen
    • Jika jauh di bawah itu, perlu dipertanyakan niat pengguna atau kemampuan mendapatkan basis DAU
  • Sulit dicapai karena pasar punya banyak pilihan dan ada kelelahan terhadap aplikasi
  • Current User Retention (CURR): jauh lebih penting
    • Untuk produk dengan frekuensi harian, ini adalah metrik terpenting
    • Menunjukkan kelengketan basis pengguna lama yang sudah mengembangkan pola kebiasaan
    • Seiring waktu, membangun kebiasaan harian dengan efek compounding
    • Saat perusahaan matang, sebagian besar energi difokuskan pada mekanisme mempertahankan pengguna yang ada

• Pengecualian Grammarly

  • Setelah dipasang, Grammarly tidak dibuka secara aktif setiap hari
  • Aktivasi, instalasi, dan aha moment sangat penting
    • Satu kali instalasi bisa mempertahankan pengguna dalam waktu sangat lama
  • Karena berjalan otomatis saat mengetik, statistik DAU tidak akurat

Pentingnya pengguna yang bangkit kembali (resurrected)

• Komponen DAU/WAU

  • Untuk perusahaan yang matang seperti Chess.com, sekitar 80% pengguna aktif harian/mingguan adalah pengguna saat ini atau lama
  • Sisanya terdiri dari pengguna baru dan pengguna yang diaktifkan kembali (resurrected) dalam skala yang mirip
  • Setelah perusahaan matang, perhatian terhadap pengguna baru besar, tetapi sebenarnya porsi pengguna baru tidak terlalu besar

• Akumulasi pengguna tidak aktif dan sporadis

  • Seiring waktu, banyak pengguna tidak aktif akan menumpuk
  • Pengguna sporadis: tidak memakai setiap hari, tetapi 1~2 kali per minggu atau 1~2 kali per bulan
  • Pada akhirnya akan terkumpul ratusan juta pengguna dorman
  • Layak berinvestasi pada pengalaman kebangkitan kembali
    • Menemukan cara baru untuk membawa mereka kembali

• Strategi kebangkitan kembali Duolingo

  • Memanfaatkan notifikasi sosial
    • Jika sinkronisasi kontak digunakan, ada push notification bahwa teman dekat mulai memakai Duolingo
    • Mendorong pengguna kembali ke produk
  • Mekanisme replacement
    • Tiga tahun lalu belajar bahasa Prancis, tetapi sebagian besar sudah lupa
    • Saat membuka ulang aplikasi, pengguna disarankan mengikuti placement test agar ditempatkan di level yang tepat
  • Bagi perusahaan yang matang, mekanisme seperti ini memberikan ROI yang cukup tinggi

Perbedaan Duolingo, Grammarly, dan Chess.com

• Duolingo: mesin eksperimen yang sistematis

  • Pendekatan pengembangan produk yang sangat spesifik dan konsisten
  • Menulis dan memublikasikan Green Machine playbook
  • Semangat perusahaan
    • Merekrut banyak talenta cerdas dan penuh energi tepat setelah lulus kuliah
    • Menyediakan alat eksperimen yang luar biasa
    • Mengutamakan clock speed perusahaan
    • Banyak kreativitas dan ide yang lahir
  • Pengalaman produk berubah beberapa kali sehari untuk setiap pengguna
    • Pada tingkat yang sangat mengejutkan
  • Memiliki spesifikasi dan proses di setiap tahap siklus pengembangan produk
    • Dijalankan dengan sangat ketat dan konsisten
    • Review produk berlangsung cepat, sekitar 10~15 menit

• Grammarly: berevolusi dari B2C ke B2B

  • Awalnya dimulai sebagai produk berbayar untuk mahasiswa
  • Lalu meluas secara bertahap ke model premium untuk semua orang, berfokus pada profesional
  • Fungsi tertentu di perusahaan tertentu—tim marketing, sales, dan customer support—mengadopsi Grammarly dalam skala besar
  • Menambahkan managed enterprise motion
  • Peran Albert: fokus pada motion self-serve konsumen, tetapi tidak dipisahkan dan tetap saling terhubung
    • Meningkatkan pendapatan self-serve dan pengguna aktif
    • Product-Led Sales: menemukan tim/fungsi/perusahaan yang cocok, menciptakan demand, lalu menyerahkannya ke sales
  • Berevolusi cepat seiring transisi ke AI generatif
    • Baru-baru ini berubah menjadi productivity suite lewat akuisisi Coda dan Superhuman
  • Berbeda dari Duolingo, dibutuhkan lebih banyak keputusan strategis
  • Tim produk inti paling banyak memimpin aktivitas berulang
    • Frekuensi dan kualitas saran paling memengaruhi current user retention
    • Albert membentuk tim growth, tetapi kemudian sadar bahwa tim produk inti yang sebenarnya harus memimpin
    • Setelah berdiskusi dengan pemimpin produk inti, tanggung jawab dipindahkan

• Chess.com: gairah fanatik terhadap catur

  • Para karyawan sangat fanatik dan bersemangat terhadap catur
  • Merekrut secara remote dari seluruh dunia, dan hanya merekrut orang yang mencintai catur
  • Bermain catur sepanjang hari dan menonton stream
  • Slack selalu ramai dengan langkah dan pertandingan catur
  • Dalam kasus Duolingo
    • Meski merupakan produk pembelajaran bahasa, semangat dasarnya adalah motivasi
    • Hal tersulit adalah membentuk kebiasaan
    • Pembelajaran bahasa adalah sarana pertama, dan motivasi serta kebiasaan adalah kekuatan supernya
  • Dalam kasus Grammarly
    • Dikenal lewat koreksi ejaan dan tata bahasa, tetapi keunikannya yang sesungguhnya adalah integrasi di begitu banyak aplikasi
    • Kini bisa menawarkan lebih dari sekadar penulisan tata bahasa sebagai AI superhighway
  • Chess.com adalah 100% tentang catur
    • Meresap dalam semangat perusahaan dan orang-orangnya penuh gairah
    • Selalu melakukan dogfooding pada produk
    • Selalu memakai produk dan menghadirkan energi luar biasa untuk mengusulkan ide

Bagaimana AI Mengubah Chess.com

• Hubungan panjang antara catur dan AI

  • Catur dan AI telah saling terkait selama hampir satu abad
  • Para pelopor komputasi awal memilih catur sebagai sarana menguji kecerdasan mesin
  • Deep Blue milik IBM pada 1997 mengalahkan juara dunia Garry Kasparov
    • Momen yang mengejutkan sekaligus memicu refleksi tentang apakah AI akan menggantikan manusia
    • Itu terjadi 30 tahun lalu, tetapi kita semua masih ada dan jumlah orang yang bermain catur kini menjadi yang terbanyak sepanjang masa

• Kemampuan engine catur saat ini

  • Engine seperti Stockfish jauh lebih unggul daripada grandmaster terbaik dunia
  • Perbandingan sistem rating ELO
    • Pemain catur rata-rata: 1.000~1.500
    • Grandmaster terbaik (Magnus Carlsen): sekitar 2.800
    • Stockfish dan engine serupa: sekitar 3.600
  • Engine catur tetap bisa bersaing dengan pemain terbaik bahkan saat bermain tanpa bidak utama tertentu (seperti rook)
  • Dengan daya komputasi yang menghitung puluhan juta kali per detik, manusia tidak mungkin mampu bersaing
  • Dengan menyaksikan permainan engine catur, terbuka apresiasi baru terhadap kreativitas, strategi, variasi, dan permainan itu sendiri

• Pendekatan Chess.com dalam memanfaatkan AI

  • Menyediakan teknologi ini untuk semua pengguna, termasuk mereka yang baru pertama kali memindahkan bidak
  • Produk game review: menjalankan engine catur di belakang layar untuk menghasilkan evaluasi atas setiap langkah
  • Disajikan kepada pengguna dalam gaya yang mudah diakses dan diterjemahkan
    • Menggunakan bahasa ibu pengguna
    • Juga tersedia dalam bentuk audio
  • Memanfaatkan LLM: pada bagian yang menyampaikan kepribadian dan gaya bahasa kepada pengguna
  • Prinsip utama: pelanggan adalah prioritas utama
    • Tidak menerapkan LLM hanya karena sedang tren
    • Menerapkan teknologi yang tepat pada fitur yang tepat untuk memberi nilai bagi pengguna
    • Tidak terbawa hype

• Kemampuan LLM dalam bermain catur

  • Mengejutkannya, LLM sendiri sangat buruk dalam bermain catur
  • Terjadi halusinasi (hallucination); mereka bagus dalam mengenali pola gerakan, tetapi tidak mampu melakukan analisis catur yang sangat mendalam
  • Jika membuat gambar papan catur dengan ChatGPT, jumlah petaknya bisa salah atau susunannya tidak tepat
  • Kemampuan penalarannya diperkirakan akan terus membaik
  • Google baru-baru ini mensponsori turnamen tempat semua LLM terbaik saling bermain
    • Mereka memang membaik, tetapi untuk catur, engine deep computing yang terlatih jauh lebih kuat daripada LLM

• AlphaZero dan AlphaGo

  • Dokumenter AlphaGo mengekspresikan hal-hal yang sangat mendalam secara teknis dengan cara yang emosional dan manusiawi
  • Cara melatih AlphaZero: bermain melawan dirinya sendiri dalam sangat banyak permainan
    • Menjadi lebih cerdas setiap kali melalui jaringan saraf
    • Dengan pengulangan miliaran hingga triliunan kali, akhirnya menjadi sangat mahir

Bagaimana AI Mengubah Peran Growth

• Definisi growth

  • Peran growth: menghubungkan pengguna dengan nilai produk
  • Menyusun tim berdasarkan setiap elemen dengan mempertimbangkan perjalanan pengguna
    • Setiap tim memiliki target metrik dan roadmap tertentu
    • Menjalankan eksekusi terhadap target tersebut
  • AI dapat mempercepat beberapa elemen dari siklus eksperimen

• Pemanfaatan AI dalam product discovery

  • Produk inti membutuhkan kerangka waktu yang lebih panjang dan riset pengguna/pasar yang mendalam
  • Growth menjalankan banyak eksperimen, dan output dari tiap eksperimen menjadi input bagi ide berikutnya
  • Cara lama: menulis dokumen analisis secara manual
    • Membaca dan menangkap insight
    • Menerjemahkan ide ke spesifikasi lain
  • Pemanfaatan AI
    • Menggunakan alat seperti ChatGPT untuk meringkas analisis orang lain
    • Memberikan saran tentang ide yang patut dicoba
    • Siklus ideasi dan riset menjadi jauh lebih cepat
  • Prototyping juga menjadi jauh lebih singkat
    • Belum sampai tahap PM bisa langsung mendeploy kode ke production sendiri
    • Namun, waktu untuk merancang ide-ide berani berkurang drastis

• Dampak pada eksplorasi dan eksploitasi

  • Dulu: eksplorasi (explore) lebih sulit
  • Sekarang: eksplorasi jauh lebih mudah
    • Konsep yang luas bisa divisualisasikan
    • Setelah divisualisasikan, bisa didiskusikan bersama tim dan dapat diklik
    • Menciptakan perbedaan yang mengubah segalanya

Tips untuk Memperbesar Skala Eksperimen

• Tips pertama: mulai saja dulu

  • Laporan status produk Atlassian: 40% tim produk tidak menjalankan eksperimen sama sekali
  • Bisa dipahami jika alasannya filosofis atau karena berfokus pada B2B
  • Tetapi, jika produknya konsumen dengan skala dan frekuensi tertentu
    • Data yang cukup bisa dikumpulkan
    • Meski sudah punya banyak pengalaman, kita sering tetap salah
    • Perilaku konsumen sangat berubah-ubah
    • Saat bekerja di perusahaan, secara alami kita menjadi power user dan melupakan pengalaman pengguna baru
  • Disarankan untuk mengambil langkah pertama
    • Menjalankan AB test
    • Mencari tool pihak ketiga lalu mengintegrasikannya dengan cepat
    • Bekerja sama dengan engineer untuk membuat sesuatu
    • Berlatih crawl-walk-run

• Tool yang disukai

  • Di Grammarly menggunakan StatSig (baru-baru ini diakuisisi)
  • Duolingo dan Chess.com memiliki tool eksperimen in-house
  • Ada kelebihan dan kekurangannya
    • Duolingo adalah mesin eksperimen, jadi tool kustom menjadi akselerator besar
  • Secara umum, tidak disarankan membangun in-house sejak awal
    • Pada skala tertentu itu bisa masuk akal
    • Perusahaan-perusahaan ini didirikan 15 tahun lalu, saat tool seperti itu belum ada

• Tips kedua: sistem sama pentingnya dengan eksperimen individual

  • Sistem sama pentingnya dengan eksperimen individual, mungkin bahkan lebih penting
  • Mulailah dari model growth
    • Memahami bagaimana perusahaan bertumbuh
    • Mengetahui channel mana yang akan dimanfaatkan
  • Instrumentation produk sangat penting
    • Jika tidak, hasil eksperimen akan terlihat aneh
  • Contoh nyata: sebuah perusahaan menggunakan tool eksperimen in-house
    • Setelah 3 bulan, ditemukan bahwa retensi pengguna disusun secara terbalik
    • Semua hasil positif ternyata adalah hasil negatif
    • Situasinya sangat memalukan, dan itu tidak akan terjadi lagi

• Tips ketiga: berbagi dan menyebarkan insight

  • Saat menemukan eksperimen yang sangat sukses atau sangat gagal
    • Bagikan dengan jelas ke seluruh perusahaan
    • Nyatakan hipotesis dan temuan dengan jelas
    • PM asalnya tidak harus menemukan semua cara penerapannya sendiri
  • Sebagai growth leader, dorong orang lain untuk berkumpul memfokuskan ide (swarm)
    • Meningkatkan tingkat keberhasilan
    • Memperbesar dampak

Target 1.000 Eksperimen per Tahun

• Perjalanan eksperimen Chess.com

  • Sebelum 2023: hampir tidak bereksperimen
  • Tahun lalu: sekitar 50
  • Tahun ini: sekitar 250 sedang berjalan
  • Target tahun depan: 1.000

• Makna sebenarnya dari target ini

  • Ini target yang dibuat Albert, tetapi angka itu sendiri bukan tujuannya
  • Nilai sejati dari menetapkan target: mendorong percakapan tentang apa saja yang harus benar
  • Insight untuk mencapai target
    • Bukan hanya PM atau engineering yang bereksperimen
    • Lifecycle marketing: eksperimen mengubah push notification dan copy email
    • App store: eksperimen pada screenshot, keyword, dan sebagainya
    • Tim content marketing dan lainnya
    • Mengaktifkan No-Code pada layar tertentu tanpa dukungan engineering
      • Banyak pengujian yang bisa dikonfigurasi di home screen atau layar pricing
    • Melacak progres dan memastikan observability
  • Yang benar-benar penting bukan mencapai 1.000 secara harfiah, melainkan mencapai hal-hal ini
  • Jika hampir mencapainya sambil mewujudkan semua itu, berarti kondisinya sudah sangat baik

Cara Mengubah Budaya

• Perubahan budaya dramatis di Chess.com

  • Dari 0 eksperimen menjadi 1.000 dalam 2 tahun (sekitar 3 per hari)
  • Banyak tim menjalankan eksperimen secara paralel

• Faktor keberhasilan perubahan budaya

  • Dukungan kepemimpinan

    • Banyak kredit diberikan kepada CEO serta para co-founder Eric dan Danny
    • Eksperimen bukanlah cara berpikir yang intuitif bagi mereka
    • Ditambahkan sebagai alat lewat fleksibilitas mental dan dorongan
    • Di garis depan, mereka mengampanyekan pertumbuhan berbasis produk dan eksperimen
    • Sangat penting untuk tidak berseberangan dengan para founder dan pendekatan yang sudah ada

  • Membagikan kisah sukses nyata

    • Seperti contoh review game dan positivity, Anda harus menunjukkan apa yang benar-benar berhasil
    • Butuh kemenangan (win): rayakan, dan buat orang merasa positif terhadap pembelajaran
    • Jika diterapkan secara luas, semua orang akan ikut bersemangat
    • Metrik bergerak, dan Anda bisa belajar serta melakukan deployment lebih cepat
    • Tidak cukup hanya menetapkan target dari atas
    • Orang-orang harus melihat sesuatu yang berhasil

  • Eksperimen awal

    • Sebelum Albert bergabung, beberapa eksperimen sudah berjalan
    • Semuanya sudah mulai berada di jalurnya

Pelajaran Eksperimen Tambahan

• Kisah sukses Duolingo

  • Streak dan engagement

    • Dibahas oleh Jackson di podcast
    • Efek pembelajaran melalui engagement dan penanda streak di kalender
    • Memulai itu penting dibanding mencapai tonggak besar

  • Tim virality

    • Virality adalah konsep yang sangat ambigu dan sangat sulit diciptakan di dalam produk
    • Duolingo adalah produk yang cukup sering dibagikan
    • Berinvestasi dalam pelacakan screenshot
      • Mencari hotspot tempat pengguna mengambil screenshot di aplikasi
      • Menemukan cara untuk melihatnya juga di aplikasi lain
      • Hanya dijalankan untuk periode tertentu
    • Hotspot berbagi yang ditemukan
      • Tonggak streak: titik berbagi yang jelas
      • Challenge yang sangat menyenangkan: tingkat share sangat tinggi
      • Masuk 3 besar leaderboard bukanlah sesuatu yang dibagikan
    • Menempatkan ilustrator dan animator pada momen-momen ini
    • Menciptakan pengalaman yang sangat menyenangkan
    • Hasilnya: bekerja dengan sangat baik, bahkan mengejutkan
    • Pelajarannya: jangan memaksa orang berbagi dengan melawan intuisi manusia
      • Temukan momen ketika pengguna sudah secara organik mengambil screenshot
      • Buat momen itu jauh, jauh lebih baik
      • Perkuat 5x atau 10x untuk mendorong banyak pertumbuhan

Tiga Pilar Gamification

• Model gamification Jorge

  • Pola gamification pada dasarnya adalah tiga pilar

  • 1. Core Loop

    • Duolingo: progres pelajaran
      • Selesaikan pelajaran → dapat hadiah → perpanjang streak
      • Push notification keesokan harinya
    • Penting untuk membuat core loop sangat rapat
      • Orang perlu memiliki kebiasaan yang bisa mereka pertahankan

  • 2. Metagame

    • Duolingo: Path, leaderboard, achievement
    • Hal-hal yang dikejar dalam jangka panjang
    • Memberikan motivasi jangka panjang untuk tetap aktif

  • 3. Profile

    • Membangun profil seiring waktu
    • Cerminan dari investasi dalam pengalaman produk
    • Jika ketiganya matang, peluang sukses dalam perjalanan belajar jangka panjang akan meningkat

• Tantangan pengguna baru di Chess.com

  • Lebih dari 75% pengguna baru diklasifikasikan sebagai pemula total atau level dasar
  • Pemula tidak menikmati live game
    • Data: tingkat kemenangan pada game pertama kurang dari 1/3
    • Saat kalah, retensi pengguna memburuk 10%
    • Pada skala besar, ini buruk
  • Game mobile pada umumnya: membuat versi yang sangat disederhanakan
    • Dalam catur hal ini lebih sulit (aturan tidak bisa diubah)

• Pentingnya tahap awal pembelajaran

  • Baik belajar bahasa maupun catur, langkah pertama dipenuhi keraguan diri
  • Pengalaman yang menguatkan keyakinan bahwa diri sendiri tidak bisa melakukannya
  • Sangat berharga untuk secara sengaja merancang pengalaman yang membimbing pengguna melewati fase ini

• Solusi Chess.com

  • Jika seseorang benar-benar pemula, berikan pengalaman belajar bermain yang lebih menyenangkan
    • Jangan langsung melempar mereka ke live game
  • Sembunyikan rating selama 5 game pertama
    • Agar mereka tidak melihat ratingnya anjlok
  • Berbagai jalur seperti bermain dengan coach, bermain dengan teman, bermain dengan bot
  • Hint real-time: sambil bermain melawan orang sungguhan, pengguna dipandu ke mana harus bergerak
    • Membantu mereka menang

Pelajaran Kontraintuitif tentang Membangun Tim

• Cara rekrutmen tradisional

  • Menulis JD (deskripsi pekerjaan)
    • Mendaftar berbagai karakteristik yang dicari
  • Membuat shortlist perusahaan yang mirip dengan perusahaan sendiri
  • Mencoba merekrut dari sana
  • Jalur dasar yang tipikal di industri

• Penemuan Albert: high agency

  • Disadari lewat pengalaman di beberapa startup kecil dan di Duolingo
  • Karakteristik top performer
    • Agency yang sangat tinggi
    • Clock speed: berpikir dan bertindak cepat
    • Energi
    • Tertarik pada misi, tetapi pengalaman mendalam tidak selalu diperlukan
  • Pengalaman justru bisa menjadi kruk (crutch)
    • Terutama di dunia yang fondasinya cepat berubah karena AI
    • Banyak kebiasaan yang dipelajari harus secara sengaja dibuang
    • Dibutuhkan beginner's mind
  • Cari orang yang bereaksi dan bergerak cepat
  • Kecepatan belajar yang tinggi
  • Perusahaan dengan orang seperti itulah yang akan bertahan dan berkembang

• Cara mengidentifikasi high agency

  • Sebagian besar terjadi di luar proses wawancara
  • Sinyal-sinyalnya
    • Jenis pertanyaan: apakah mereka benar-benar mencoba produknya dan menggali lebih dalam?
    • Referensi
    • Komunikasi untuk mengatur wawancara
    • Energi yang mereka bawa ke percakapan
  • Banyak soft signal yang bisa ditangkap
  • Seiring waktu, pola-pola ini mulai dikenali
  • Dulu hanya membaca dari pertanyaan dan rubrik, dan mengabaikan yang lain
  • Sekarang semua itu dipertimbangkan dengan jauh lebih seimbang
  • Ada unsur vibes
  • Mendukung pendekatan wawancara work trial
    • Alih-alih wawancara percakapan, benar-benar bekerja bersama selama sekitar satu minggu

Memilih Skala Perusahaan

• Goldilocks Zone Albert

  • Berpengalaman dari Google (perusahaan besar) hingga startup yang sangat kecil
  • Menemukan tempat yang cocok untuk dirinya: skala menengah

• Karakteristik tiap skala

  • Perusahaan besar (Google)

    • Menangani skala yang sangat besar
    • Banyak belajar praktik terbaik dari rekan kerja
    • Memiliki semua alat dan kapabilitas yang diinginkan
    • Tetapi cenderung bergerak lambat
    • Sulit melakukan deployment dan peluncuran
    • Pada akhirnya bisa sedikit membuat gila

  • Startup yang sangat kecil

    • Bergerak sangat cepat
    • Tetapi semua uban Albert muncul di sini
    • Tidak ada yang mengenal perusahaannya
      • Merekrut orang satu per satu
      • Mendapatkan pengguna satu per satu
    • Bisa belajar cepat dan banyak merilis hal
    • Tetapi untuk memberi dampak besar pada dunia bisa sangat berat
    • Sebagian ada yang hyperscale dan sukses
    • Namun Albert mencoba jalur ini untuk beberapa waktu dan merasa itu tidak cocok untuknya

  • Skala menengah (500~1.000 orang)

    • Bisa memberi kontribusi yang berdampak pada skala sekaligus
    • Bisa mengeksekusi dengan ritme harian dan mingguan
    • Bisa melihat upaya di seluruh perusahaan
    • Sambil tetap masuk ke detail
      • Membaca hasil eksperimen
      • Menelaah pixel
      • Bekerja sama dengan tim tertentu
    • Perusahaan berusia 10~20 tahun
      • Tahan lama dan idealnya menguntungkan
      • Memiliki tim kepemimpinan yang baik
      • Masih banyak dimensi yang harus ditemukan
      • Berada di titik infleksi utama
      • Dinamis, bukan stagnan

• Tahap optimal tiap individu

  • Setiap orang punya tahap perusahaan tempat mereka paling bersinar
  • Perjalanan Albert: perusahaan teknologi besar → startup yang sangat kecil → skala menengah
  • Skala menengah adalah goldilocks zone miliknya

Sudut Kegagalan: Kasus Chariot

• Latar belakang

  • Layanan shuttle komuter di San Francisco
    • Shuttle 15 penumpang
    • Beroperasi dari beberapa lingkungan menuju pusat kota San Francisco
  • Berada di tengah antara sistem bus publik dan Uber/Lyft
  • Albert bekerja sebagai pimpinan produk
  • Layanan inti sangat disukai pengguna
    • Andal, cepat, dan cukup terjangkau

• Upaya yang gagal: Chariot Directly

  • Ide: meningkatkan utilisasi dengan rute dinamis
    • Membuatnya lebih inovatif, mirip Uber/Lyft
  • Pengemudi mengendarai rute tetap, tetapi
    • Jika ada waktu luang, mereka bisa keluar dari rute untuk menjemput dari rumah
  • Sudah dicoba, tetapi pada akhirnya tidak berhasil

• Pelajaran yang didapat

  • 1. Solusi mencari masalah

    • Mengejar gagasan "bukankah ini akan bagus"
    • Bukan "inilah pengguna kami dan inilah masalah yang kami selesaikan"
    • Bukan "inilah alasan hal ini akan menyenangkan mereka"
    • Tidak boleh memulai dari solusi, bukan dari masalah

  • 2. Mempertimbangkan pasar dua sisi (Marketplace)

    • Ada lebih dari satu pengguna akhir
    • Terlalu fokus hanya pada aplikasi penumpang
    • Tidak menyadari bahwa pengemudi menanggung banyak beban pengalaman
    • Hal yang sama juga berlaku untuk tim operasional
    • Jika pengemudi bingung atau tidak puas
      • Pengalaman produk secara keseluruhan bisa menjadi sulit

  • 3. Risiko PR sebelum validasi

    • Melakukan banyak PR sebelum layanan diluncurkan untuk membangun buzz
    • PR punya waktu dan tempatnya sendiri
    • Tetapi melakukannya sebelum validasi bahwa pelanggan benar-benar menginginkannya sangat berisiko
    • Setelah peluncuran, muncul banyak sunk cost
      • Harus melihatnya sampai akhir
      • Ingin melihatnya berhasil

• Retrospektif

  • Itu terjadi 10 tahun lalu, tetapi masih sangat jelas di ingatan
  • Ia menghabiskan masa yang baik di perusahaan itu
  • Berisi lebih dari 3 pelajaran inti
  • Pelajaran yang terus dibawa saat membangun banyak produk setelahnya

Lightning Round

• Buku rekomendasi

  • Buku yang sedang dibaca sekarang

    • Karena punya anak usia 4 tahun dan 1 tahun, kebanyakan membaca buku anak-anak
    • Snuggle Puppy: ada lagunya, membuat putrinya tertawa lepas, terasa menghangatkan hati

  • Buku rekomendasi untuk kerja: Ogilvy on Advertising

    • Buku berusia 40 tahun, tetapi penuh contoh praktis
    • Membahas copy dan creative
    • Iklannya memang jadul, tetapi pendekatannya berorientasi eksperimen
    • Pada akhirnya yang penting adalah mendorong pengguna untuk bertindak
    • Tujuannya adalah membeli produk
    • Bukan iklan yang cerdas atau creative yang seksi
    • Sangat relevan bagi tim produk dan lifecycle

  • Dark Squares

    • Memoar dari salah satu pendiri Chess.com, Danny Wrench
    • Sangat terkenal di dunia catur
    • Kisah tentang tumbuh dalam kultus yang abusif sambil menjadi anak ajaib catur
    • Cerita yang luar biasa
    • Saat ini baru dibaca sekitar setengahnya
    • Mengingatkan bahwa kita tidak tahu seberapa dalam masa lalu orang-orang yang bekerja bersama kita
    • Sekaligus merujuk pada kotak gelap di papan catur dan masa lalu yang sulit
    • Dijadwalkan terbit saat podcast ini dirilis

• Moto hidup

  • Kutipan ibu: "Tidak ada yang lebih penting daripada reputasi"
  • Pemahaman yang murah hati
    • Keputusan-keputusan kecil yang diambil setiap hari
    • Bagaimana memperlakukan orang
    • Bagaimana kita hadir
    • Karakter seperti apa yang kita miliki
  • Semua ini bertumbuh seperti bunga majemuk dan membuka pintu dengan cara yang menakjubkan
  • Banyak perusahaan yang ia masuki datang lewat koneksi yang relatif ringan
  • Podcast ini juga, ia melihat orang-orang yang pernah bekerja dengannya tampil di sana
  • Melakukan hal yang benar dan membangun reputasi yang baik bisa membawa Anda jauh
  • Sisi sebaliknya: reputasi itu rapuh
    • Jika melakukan hal yang salah, butuh waktu lama untuk memulihkannya
  • Sebuah moto hidup yang menarik dan terus tinggal di kepalanya sepanjang hidup

Pesan Inti

• Pencerahan: penting untuk tetap jujur pada pengalaman nyata
  • Banyak pelajaran datang dari apa yang dicoba orang lain
  • Berperan sebagai spons mental
  • Mencoba berbagai hal
  • Menyerapnya dan segera menerapkannya
  • Membuang yang tidak berhasil dan berevolusi sesuai kebutuhan perusahaan

[t7vonn]

Mirip dengan seseorang di perusahaan messenger yang baru-baru ini jadi kontroversi ..