Kehidupan dan Kematian Pasar Prediksi yang Dioperasikan di Dalam Google

• Selama 20 tahun terakhir, Google telah mengoperasikan dua platform prediksi internal (Prediction Platform) yang berbeda
• Platform pertama gagal, tetapi apakah platform kedua bisa bertahan?

Masa kejayaan Google

• Pada Juli 2005, Google adalah bintang pujaan Silicon Valley. Google Maps telah dirilis, dan Gmail masih dalam versi beta
• Pada masa ini, Google adalah perusahaan yang tidak biasa dan menyimpang dari praktik umum Silicon Valley
• Para pendiri Google mengatakan, "Google bukanlah perusahaan yang konvensional"

Prophit - pasar prediksi internal pertama Google

• Pada 2005, Google meluncurkan Prophit, pasar prediksi internal
• 20% karyawan Google berpartisipasi, dan platform ini beroperasi selama 3 tahun
• Prophit memberikan prediksi yang akurat dan juga menarik perhatian media

Kegagalan Prophit dan pelajarannya

• Prophit akhirnya ditutup pada 2011
• Hambatan utamanya adalah perjudian online dianggap ilegal
• Selain itu, sempat dicoba untuk dirilis ke luar, tetapi gagal karena masalah hukum. Sulit mendapatkan sumber daya yang dibutuhkan
• Sebagai penyesalan atas hal itu, muncul penilaian bahwa "seharusnya platform ini hanya dioperasikan untuk penggunaan internal"

Gleangen - pasar prediksi kedua Google

• Pada April 2020, karyawan Google Dan Schwartz meluncurkan Gleangen
• 8% karyawan Google (sekitar 15.000 orang) berpartisipasi, dan platform ini mempertahankan lebih dari 1.000 pengguna aktif per bulan
• Berdasarkan pelajaran dari Prophit, Gleangen dirancang sebagai alat untuk pengambilan keputusan internal

Pentingnya pasar prediksi dan tantangannya

• Keuntungan pasar prediksi
  • Pasar prediksi dapat memanfaatkan kecerdasan kolektif untuk memberikan prediksi yang akurat
  • Perusahaan dapat menggunakannya untuk memperkirakan pergerakan pesaing atau meningkatkan pengambilan keputusan internal
• Penyebab kegagalan
  • Regulasi hukum dan sulitnya berbagi data internal menjadi hambatan utama
  • Dalam kasus Prophit, kegagalan terjadi karena tidak memperoleh izin hukum untuk peluncuran eksternal
• Tantangan dalam mengoperasikan pasar prediksi
  • Keengganan untuk berbagi data, serta keinginan untuk menyisakan ruang pembenaran saat proyek gagal, menjadi hambatan
  • Keinginan manajemen untuk mengendalikan informasi dapat berbenturan dengan pemanfaatan kebijaksanaan massa
  • Transparansi dan akuntabilitas dalam proses prediksi kadang diprioritaskan dibanding akurasi prediksi itu sendiri

Waymo dan pemanfaatan pasar prediksi

• Penerapan di Waymo
  • Tim system engineering Waymo mencoba meningkatkan metrik pengukuran keselamatan melalui pasar prediksi
  • Namun, upaya tersebut tidak berhasil karena keterbatasan akses data dan kurangnya dukungan dari manajemen

Perkembangan Gleangen dan peran AI

• Keberhasilan dan keterbatasan Gleangen
  • Gleangen mendukung pengambilan keputusan melalui prediksi di berbagai divisi Google
  • Namun, karena keterbatasan data internal dan kurangnya perhatian dari manajemen, platform ini belum mencapai keberhasilan penuh
• Masa depan AI dan pasar prediksi
  • AI dapat membantu menurunkan biaya pasar prediksi dan meningkatkan akurasinya
  • Dengan menggabungkan AI dan kecerdasan kolektif manusia, prediksi yang lebih baik dapat dihasilkan
• Perbandingan prediksi AI dan prediksi manusia
  • Menurut penelitian terbaru, prediksi AI jauh lebih baik daripada tebakan acak, tetapi masih belum seakurat kelompok manusia
  • Namun, karena prediksi manusia dimanfaatkan untuk melatih AI, nilai pasar prediksi perusahaan pun meningkat

Masa depan pasar prediksi perusahaan

• Kuncinya adalah memberikan informasi yang lebih bernilai kepada manajemen dan menurunkan biaya prediksi dengan AI
• Minat terhadap pasar prediksi perusahaan meningkat, termasuk karena beberapa perusahaan seperti Anthropic mulai mengadopsi pasar prediksi internal
• Pasar prediksi yang sukses dapat meningkatkan nilai informasi dan berkontribusi pada pengambilan keputusan strategis perusahaan
• Seiring perkembangan AI, efisiensi pasar prediksi kemungkinan akan semakin meningkat

[GN⁺]

Opini Hacker News

• Google memelopori berbagai praktik teknis seperti kafe internal, A/B testing, dan "dogfooding". Namun, Microsoft dan lainnya sudah memulai dogfooding beberapa dekade sebelumnya

  • Kafe perusahaan sudah ada jauh sebelum Google memperkenalkan konsep tersebut

• Saya berharap artikel ini membahas masalah pada pasar prediksi, tetapi isinya hanya sejarah yang kering

  • Pasar prediksi yang murni tidak bisa benar-benar ada dalam praktik, dan pasar prediksi tidak dapat sepenuhnya dipisahkan dari peristiwa yang diprediksi
  • Jika kepentingan terhadap prediksi mulai memengaruhi hasil, pasar itu menjadi tidak berguna

• Keberhasilan Google bukan hanya karena budaya, tetapi juga karena pertumbuhan pasar yang cepat

• Harga pasar memberikan angka antara 0 dan 1, dan harga naik ketika suatu peristiwa menjadi lebih mungkin terjadi

  • Namun, menafsirkannya sebagai probabilitas itu rumit, dan trader di dunia nyata memiliki modal terbatas serta cenderung menghindari risiko

• Saya penasaran bagaimana pasar prediksi ini menyelesaikan masalah-masalah tersebut

  • Apakah ada pascapemrosesan untuk mengubah harga pasar menjadi probabilitas akhir, dan apakah para trader bertindak agar dapat menafsirkan harga pasar sebagai probabilitas

• Pasar prediksi akan membuat terobosan bukan hanya lewat penilaian kolektif, tetapi juga dengan memanfaatkan superforecasting

  • Saat ini pasar prediksi mirip sekadar jajak pendapat opini, dan perlu mengidentifikasi peserta yang secara konsisten mengalahkan pasar
  • Diperlukan pelacakan taruhan jangka panjang dan posisi individu yang tidak dipublikasikan ke pasar

• Google secara internal mengoperasikan beberapa platform perjudian, dan departemen HR serta kepatuhan mengizinkannya

• Polymarket dinilai sebagai pasar prediksi yang paling sukses