- Dengan menggunakan 1.903 persona AI yang dibuat berdasarkan data komentar Hacker News asli, eksperimen ini memprediksi apakah judul postingan akan menjadi viral dan mencapai akurasi 60%
- Ini adalah hasil yang 20% lebih tinggi daripada tebakan acak, sehingga membuka kemungkinan untuk menggantikan riset pasar konvensional, tetapi juga menunjukkan bahwa dinamika penyebaran sosial adalah faktor utama yang membuat prediksi menjadi sulit
- Melalui analisis kasus kegagalan prediksi, terkonfirmasi besarnya pengaruh keberuntungan dan timing, di mana beberapa upvote awal dapat mengubah hasil akhir sepenuhnya
- Hasil ini menyiratkan bahwa AI dapat memodelkan preferensi individu dengan baik, tetapi menghadapi batasan dalam memprediksi keberhasilan viral
- Penulis menyarankan bahwa riset pasar berbasis AI lebih berguna untuk mengeksplorasi arah daripada membuat prediksi yang akurat, dan sebaiknya digunakan dengan fokus pada evaluasi relatif serta simulasi berulang
Gambaran eksperimen dan hasil
Metode eksperimen: komunitas Hacker News virtual yang dibangun dengan AI
- Mengumpulkan 1.147 judul postingan Hacker News yang diunggah pada 12 Maret 2025
- Membuat 1.903 persona AI berdasarkan komentar pengguna nyata, lalu menanyakan kepada tiap persona apakah mereka akan memberikan upvote pada judul tersebut
- Setelah menampilkan campuran postingan peringkat atas dan bawah yang sebenarnya, akurasi prediksi diukur
- Tingkat keberhasilan prediksi adalah 60%, menunjukkan hasil yang secara signifikan lebih tinggi daripada acak (50%)
Contoh kegagalan prediksi dan keterbatasannya
- “Gemma 3: Google’s new multimodal models” diprediksi AI akan viral, tetapi kenyataannya hanya mendapat 4 upvote
- Sebaliknya, “Gemma 3 Technical Report [pdf]” yang membahas topik yang sama mencatat 1.324 upvote
- Selain itu, judul provokatif seperti “TSA finds live turtle in man’s pants” juga diprediksi AI akan sukses, tetapi pada kenyataannya gagal
Analisis penyebab
- Apakah sesuatu menjadi viral lebih bergantung pada konteks sosial seperti paparan awal, jumlah upvote, dan timing daripada kualitas konten individual
- Riset Princeton: ketika daftar lagu yang sama ditampilkan secara berbeda ke tiap kelompok, beberapa lagu berulang kali menjadi sukses besar atau gagal total
- Kesimpulan: efek jaringan lebih mendominasi, sehingga alih-alih “konten bagus akan sukses”, yang terjadi adalah “konten yang beruntung mendapat paparan akan lebih sukses”
Implikasi praktis: cara memanfaatkan riset pasar AI
- Prediksi dengan persona AI memang tidak sempurna, tetapi menawarkan 'akurasi yang cukup berguna (60%)'
- Akurasi 90% lebih yang diklaim alat riset pasar AI lain berbasis data survei, sehingga sangat berbeda dari prediksi viralitas di dunia nyata
Strategi penerapan di lapangan
- Gunakan bukan sebagai alat prediksi, melainkan untuk eksperimen berulang dan eksplorasi arah
- Contoh: menguji 10 headline untuk menyaring kandidat yang layak dibuang
- Verifikasi melalui simulasi berulang
- Contoh: konten yang mendapat penilaian tinggi setidaknya 6 dari 8 kali layak untuk diuji
- Fokus pada perbandingan peringkat relatif, bukan nilai absolut
- AI cukup baik dalam membedakan mana yang jelas lebih kuat atau lemah, tetapi sulit memprediksi konten yang sangat mirip
Mencoba sendiri: prompt untuk mereplikasi pengguna HN
- Anda dapat menyalin teks dari halaman komentar pengguna Hacker News dan memasukkannya ke ChatGPT atau Claude dengan prompt di bawah ini untuk membuat persona virtual.
You are a helpful assistant that creates detailed personas representing a specific HackerNews user from a list of HackerNews comments they have made. Create a unique persona who would give identical answers to the user we are replicating based on their comments. Give them a relevant background and experience based on your best inference from their HackerNews comments...
- Berbagai ide konten kemudian dapat diuji terhadap persona yang telah dibuat
- Metode ini bukan prediksi yang dikalibrasi secara statistik, tetapi tetap dapat dimanfaatkan sebagai alat yang bermakna untuk mengeksplorasi arah tanpa biaya
Kesimpulan
- AI cukup mampu memodelkan respons pengguna individual, tetapi keberhasilan viral dipengaruhi oleh 'kekacauan' berupa penyebaran sosial
- Pada akhirnya, dalam prediksi konten AI tidak bisa menjadi peramal, melainkan hanya pemandu arah
- Meski begitu, eksperimen ini membuka kemungkinan bahwa tim kecil maupun individu dapat mencoba riset pasar berbiaya rendah dengan AI
Belum ada komentar.