Melatih model AI sendiri

• PostHog mencoba melatih model dengan data internal untuk membangun produk yang lebih proaktif dan otonom, setelah AI installation wizard, PostHog AI, dan MCP
• Target utamanya adalah PostHog Code, yang mendukung arah produk yang menemukan dan menjalankan jawaban serta solusi atas nama pengguna, lalu terus membaik seiring waktu
• Ingin meningkatkan analisis session replay, pengujian pengguna sintetis, dan prediksi perilaku pengguna untuk menurunkan biaya deteksi masalah serta menemukan error dan titik kebingungan sebelum deployment
• Data pelatihan akan dianonimkan dan hanya memakai data yang sudah ada di instance PostHog; tidak dijual atau dikirim ke penyedia model pihak ketiga
• EU Cloud dan pelanggan dengan kontrak pembatasan pelatihan dikecualikan secara default, sedangkan US Cloud disertakan secara default; pengguna dapat memilih keluar sebelum 29 Juni

---

Rencana PostHog untuk melatih model AI sendiri

• Selama setahun terakhir, PostHog menambahkan fitur AI seperti AI installation wizard, PostHog AI, dan MCP ke produknya, dan ke depan ingin membuat produk yang lebih proaktif dan otonom
• Langkah berikutnya bagi PostHog adalah membuat produk yang menemukan dan menjalankan jawaban serta solusi atas nama pengguna, lalu membaik seiring waktu
• PostHog Code, yang saat ini masih beta, adalah produk inti untuk arah ini, dan untuk mewujudkannya mereka ingin melatih model dengan data internal PostHog

Fitur yang ingin dibuat

• Tujuannya adalah membuat produk yang ada menjadi lebih cerdas dan proaktif, serta membantu tim membangun produk yang lebih baik lebih cepat dengan produk baru seperti PostHog Code

• Analisis session replay

  • PostHog AI sudah bisa mendeteksi masalah dari replay, tetapi biayanya tinggi sehingga tidak cocok untuk diperluas dalam skala besar
  • Agar replay bisa digunakan secara kuat dalam skala besar seperti saat mendiagnosis masalah pengguna individual, dibutuhkan model yang dilatih dari data dasar yang membentuk replay tersebut

• Pengujian pengguna sintetis

  • Pengujian pengguna sintetis adalah gagasan untuk memakai pengetahuan tentang perilaku pengguna guna menemukan titik tempat pengguna mungkin bingung atau alur yang bisa rusak sebelum deployment ke production
  • Seiring model coding membaik, pekerjaan pengujian dan review meningkat besar, dan PostHog ingin mengotomatisasi pekerjaan ini agar pengguna bisa fokus pada produk itu sendiri

• Prediksi perilaku pengguna

  • Jika prediksi perilaku pengguna membaik, mereka dapat menyarankan perubahan yang meningkatkan konversi dan mengurangi keluhan pengguna bahkan pada fitur yang sudah dirilis
  • Jika otomatisasi memungkinkan, waktu analisis manual akan berkurang, begitu juga token yang dikonsumsi dalam proses tersebut
  • Ide-ide ini masih bersifat eksperimental, dan perlu iterasi sampai ditemukan cara melatih model secara efektif serta data yang benar-benar berguna
  • PostHog menjadikan hasil baik saat AI membuat produk lebih sederhana atau lebih kuat sebagai dasar untuk upaya ini

Cara kerja dan prinsip penggunaan data

• Rencana ini berfokus pada memperkuat fitur yang ada dan menyediakan kemampuan yang membuat produk meningkat secara lebih proaktif
• Banyak alat berfokus pada menghasilkan kode terbaik, tetapi PostHog ingin berfokus pada membuat produk pengguna itu sendiri menjadi lebih baik
• Karena itu, PostHog Code disebut sebagai editor produk
• Beban utama dalam hal ini adalah penggunaan data yang ada di PostHog untuk pelatihan model, dan PostHog ingin mengumumkannya secara terbuka alih-alih menyembunyikannya dalam pembaruan syarat layanan

• Cara penerapan default

  • Pengguna instance EU Cloud dikecualikan secara default
  • Pengguna yang memiliki kontrak yang melarang pelatihan, seperti BAA, MSA, atau perjanjian serupa, juga dikecualikan secara default
  • Selain itu, pengguna instance US Cloud disertakan secara default

• Pemrosesan data dan pembatasan

  • Semua data akan dianonimkan sebelum digunakan untuk pelatihan
  • Hanya data yang sudah ada di instance PostHog milik pengguna yang akan dipakai
  • Pelatihan model dilakukan langsung oleh PostHog
  • Data pengguna tidak akan dijual atau dikirim ke penyedia model pihak ketiga

• Memilih keluar

  • Pengguna dapat memilih keluar kapan saja di pengaturan organisasi PostHog
  • Perubahan pengaturan organisasi memerlukan hak admin
  • Pelatihan tidak akan dimulai sampai 29 Juni, jadi pengguna punya waktu untuk memutuskan

Rencana komunikasi

• PostHog berencana mengirim email kepada semua pelanggan dengan tujuan yang dijelaskan secara jelas
• Untuk pengguna yang tidak membaca email, semua pengguna juga akan diberi tahu lewat notifikasi di dalam aplikasi
• Rencana ini dijalankan dengan cara diumumkan secara terbuka
• Tujuannya adalah meningkatkan produk PostHog bagi pelanggan, bukan mengekspos atau menjual model yang dilatih dengan data pengguna maupun memonetisasi data tersebut

Mengapa opt-out, bukan opt-in

• Alasan memilih disertakan secara default lalu opt-out alih-alih opt-in default adalah karena tanpa itu tidak akan terkumpul cukup data untuk melatih model yang benar-benar berguna
• Jika memilih opt-out, pengguna tidak akan bisa memakai fitur baru yang dibangun dengan model-model ini
• Pengguna yang dikecualikan secara default, seperti pengguna instance EU Cloud, dapat melakukan opt-in secara manual jika kontrak hukum mereka dengan PostHog tidak melarangnya
• PostHog memilih untuk mengungkapkannya lebih dulu, bukan merilisnya diam-diam
• PostHog juga sedang merekrut peneliti AI untuk mengerjakan ini

[GN⁺]

Opini Hacker News

• “opt-in default” itu kontradiktif. Kalau itu default, berarti saya tidak menyetujuinya, itu cuma dinyalakan secara bawaan

  • Ini juga menjengkelkan. Kalau opt-in, artinya secara default tidak ikut, dan kalau mau maka bisa memilih untuk ikut
    Kalau opt-out, artinya secara default ikut, dan kalau mau bisa keluar, tapi sekarang istilahnya sering dipakai terbalik sampai-sampai harus ditambah penjelasan
    Dulu pernah ada posting tentang telemetri opt-in yang benar-benar sesuai arti, tapi komentar teratas malah menyerangnya karena salah paham sebagai “ikut secara default”. Rasanya sekarang istilah ini hampir punya makna yang kebalikan
  • “opt-in default” itu ya cuma opt-out. Pakai saja istilah yang memang sudah ada
  • Keren sekali ya, membuat Anda “setuju” secara default
  • Benar. Saya sempat mempertimbangkan PostHog, tapi ungkapan seperti ini terasa sangat menipu sampai bikin saya ilfeel
  • Tipe-tipe CEO memang selalu cuma main kata-kata licik

• PostHog dulu adalah sistem yang sekali dikonfigurasi lalu sesekali dicek dan memberi sedikit nilai, dan kalau dibiarkan juga umumnya tidak berbahaya
  Tapi sekarang jadi satu alat lagi yang harus dicurigai secara aktif, dan kalau default-nya bergerak ke arah yang tak tertahankan, lebih mudah untuk mencabutnya dari sistem lalu lanjut saja

  • PostHog itu solusi analitik yang hebat berkat pendekatan developer-first, alat yang bagus, dan harga yang masuk akal
    Saya sudah tidak bisa menghitung berapa kali melihat pola perusahaan sukses berubah saat tumbuh dalam 20 tahun terakhir. Di tengah demam AI, PostHog juga terjun habis-habisan dan tampaknya bahkan menjajaki hal-hal seperti alat no-code
    Supabase juga dulu keren, tapi sekarang rasanya ikut masuk ke jurang AI. Mungkin satu-satunya yang tidak berubah ya saya, dan mungkin saya yang bermasalah karena tidak menerima para penguasa AI baru dan tidak beralih sepenuhnya ke AI

• Kebanyakan perusahaan akan menyembunyikan perubahan seperti ini di pembaruan syarat layanan yang membosankan, tapi mereka bilang karena mereka menjunjung transparansi, hal-hal yang perlu diketahui diumumkan lewat daftar bernomor yang ramah internet
  Pengguna instance cloud EU dikecualikan secara default, dan pengguna yang punya kontrak yang melarang pelatihan juga dikecualikan
  Selain itu, pengguna instance cloud AS diikutkan secara default
  Mereka bilang semua data akan dianonimkan sebelum pelatihan, hanya data yang sudah ada di instance PostHog yang akan digunakan, dan pelatihan model akan dilakukan sendiri sehingga data tidak akan dijual atau dikirim ke penyedia model pihak ketiga
  Di pengaturan organisasi, pengguna bisa keluar kapan saja, butuh hak admin, dan pelatihan tidak akan dimulai sampai 29 Juni jadi masih ada banyak waktu untuk memutuskan

  • “Selain itu, pengguna instance cloud AS diikutkan secara default”, bagus sekali. Artinya pihak yang memutuskan apa yang “disetujui” pengguna adalah perusahaan, dan tidak perlu masukan dari pengguna
    Kalau begitu akhir pekan ini saya juga akan “sukarelakan” waktu Anda untuk membangun ulang teras saya. Tidak usah khawatir, saya sudah mewakili Anda untuk jadi relawan
  • Kalau model bisnis-nya adalah “kami tahu datanya tidak akan cukup kalau pengguna harus benar-benar setuju sendiri, jadi kami akan memasukkan semua orang”, rasanya ini saatnya berpikir ulang
  • Tidak ada yang namanya opt-in default. Keputusan membakar goodwill pelanggan seperti ini biasanya cuma dilakukan perusahaan yang pangsa pasarnya jauh lebih besar dan pelanggannya lebih sulit pergi
    Harusnya mereka memberi diskon saja kepada orang yang setuju
  • Pembelaan “kami menjunjung transparansi” terlihat cukup buruk. Memberi tahu secara transparan itu bagus, tapi saya tidak ingin sistem analitik saya menulis kode
    Sudah ada pemain lebih dulu yang jauh lebih jago, dan kalaupun perlu saya lebih suka menghubungkan yang seperti itu ke analitik PostHog
  • Yang penting adalah standar anonimisasi yang dimaksud dalam “semua data dianonimkan sebelum pelatihan”. Kalau acuannya GDPR, ambangnya sangat tinggi
    Perlu diperiksa juga apakah “selain itu, pengguna instance cloud AS diikutkan secara default” mencakup pengguna akhir di EU. Karena data pribadi diperoleh langsung dari subjek data, maka kewajiban pemberitahuan Pasal 13 GDPR berlaku
    Kelalaian Pasal 13 tidak bisa diperbaiki secara retroaktif belakangan. Harus bisa ditunjukkan bahwa semua pelanggan telah memberikan pemberitahuan Pasal 13 yang memadai dan mencakup pemrosesan ini. Dan hampir pasti juga akan masuk dalam cakupan 3(2)(b)

• Ini pengingat yang bagus bahwa saya harus membuat alat analitik sendiri dan self-hosting. PostHog kehilangan satu pelanggan
  Mengirim email ke tiap pelanggan untuk bertanya apakah mereka menginginkannya pasti mudah, dan asumsi seperti ini menunjukkan tidak adanya naluri produk, bukan hanya terhadap pelanggan sendiri tapi juga pelanggan dari pelanggan mereka. Selamat tinggal

  • Bukan mau menyindir, tapi saya penasaran kenapa bukan cukup opt-out saja daripada “vibe coding” membangun platform analitik sendiri
    Saya memang tidak nyaman data saya dipakai untuk melatih AI, tapi inti kekhawatiran saya adalah ke mana data itu pergi dan apakah saya diberi tahu serta menyadarinya. Di sini PostHog memberi jawaban yang lumayan baik untuk pertanyaan-pertanyaan itu

• Beberapa bulan terakhir saya sudah ragu mau pindah atau tidak, dan produk AI baru serta UI yang aneh terus mengganggu. Ini paku terakhir di peti mati
  Menurut saya opt-in adalah model bisnis yang buruk

  • Setuju. Tidak cukup mengganggu untuk saya cabut dari produk yang sudah ada, tapi saya pasti tidak akan menambahkannya ke produk baru
    Saya ingat dulu orang-orang memuji redesign web “OS”. Itu komplikasi UX yang paling membingungkan dan tidak perlu saat saya ingin mencari session replay untuk debugging. Setelah itu mereka memang menambahkan navigasi di kanan atas

• “opt-in default” pada akhirnya itu opt-out, kan?

  • opt berarti memilih atau menentukan alternatif. Mereka entah tidak kompeten, atau sengaja berbohong

• Sekarang sudah cukup jelas, tapi ada yang perlu dikatakan soal perusahaan-perusahaan dengan nuansa keunikan ala SF
  Hal-hal seperti redesign OS, “dokumen hukum yang seksi”, email dengan judul aneh, atau toko merchandise yang menjual action figure CEO
  Ini bisa jadi kelebihan saat membantu adopsi lewat langkah yang ramah pengguna. Tapi ketika mereka mengejar pertumbuhan pendapatan dan membuat keputusan yang merugikan pengguna, rasanya jadi penghinaan di atas penghinaan
  Saya bukan mau bicara luas bahwa teknologi tidak boleh menyenangkan, tapi kalau pesannya tidak selaras dengan keputusan pimpinan, itu jadi masalah besar

  • Awalnya bagus. Alat analitik yang berorientasi developer dan terasa segar dibanding produk pesaing
    Tapi sepertinya hal baik pun ada akhirnya, apalagi kalau itu perusahaan. Dua tahun terakhir arahnya benar-benar aneh, dan AI membuat segalanya lebih buruk
    Sepertinya saya harus mengubek-ngubek proyek open source lagi

• Logikanya adalah “kenapa opt-out, bukan opt-in? Singkatnya, karena kalau tidak begitu datanya tidak akan cukup untuk melatih model yang benar-benar berguna”
  Kalau orang-orang tidak mau benar-benar setuju untuk menyerahkan data mereka ke satu lagi AI non-layanan, ya memang itu artinya mereka tidak menginginkannya, aneh sekali ya
  Kalau satu-satunya cara mendapatkan datanya adalah “anggap saja boleh diambil, lalu paksa mereka bilang berhenti”, saya jadi bertanya-tanya apa artinya itu. Mungkin misteri yang tak akan pernah terpecahkan

• Ini seharusnya jadi pelajaran tentang komunikasi yang buruk. Tidak menjelaskan dengan jelas apa yang sedang dilatih itu kesalahan besar
  Pengumuman ini benar-benar menampilkan sisi buruk dari filosofi merek PostHog yang sangat mencolok sampai memalukan

• Setiap hari saya makin bersyukur pada regulasi EU. Saat ini cuma itu yang bisa saya katakan

  • Regulasi itu sendiri bisa dipertahankan secara moral. Tapi kalau melihat keseluruhan sistemnya, ada hal menarik yang terjadi
    Hukum EU menghambat ekstraksi data dan taktik penguncian platform yang sebelumnya dipakai big tech untuk menjadi monopoli
    Tapi platform besar tidak perlu membalikkan keuntungan yang sudah mereka dapat, atau membayar kembali untuk cara-cara yang sekarang dibatasi dan dianggap ilegal. Jadi mereka bisa terus diam-diam menarik rente dari posisi yang sudah lebih mapan, sementara semua pihak lain tidak boleh memakai tangga yang dulu mereka panjat
  • Anda hanya bisa merasa begitu sampai melihat laju pertumbuhan ekonomi Eropa dan AS sejak 2008