- Baru-baru ini dilakukan analisis yang membandingkan tingkat konversi traffic rekomendasi LLM dengan pencarian Organic (organik) untuk memverifikasi dampak large language model (LLM) dan chatbot AI terhadap perjalanan pelanggan
- Studi ini didasarkan pada data dari 54 situs selama 6 bulan, dan hanya mencakup konversi makro seperti permintaan demo dan pembelian untuk meningkatkan keandalan hasil
- Hasilnya, rata-rata tingkat konversi traffic LLM (4,87%) sedikit lebih tinggi daripada pencarian organik (4,60%), tetapi dipastikan tidak signifikan secara statistik
- Bahkan jika dibedakan berdasarkan B2B dan B2C maupun per industri, tidak terlihat keunggulan yang konsisten, dan porsi traffic LLM di sebagian besar situs berada di bawah 1%
- Secara keseluruhan, LLM dapat membuka peluang baru, tetapi pada saat ini hasilnya menunjukkan bahwa pencarian organik masih menjadi kanal utama
Tujuan penelitian
- Analisis ini bertujuan memverifikasi apakah traffic LLM menunjukkan tingkat konversi yang lebih tinggi daripada pencarian organik
- Di industri terdapat hipotesis bahwa LLM menghadirkan ‘traffic yang lebih berkualitas’, namun tujuannya adalah memverifikasinya berdasarkan data primer
Metodologi dan data
- Situs web dari berbagai industri diteliti, tetapi hanya situs dengan konversi makro yang dapat diukur yang disertakan
- B2B: permintaan demo, pengiriman formulir
- e-commerce: pembelian
- Total 54 situs dipilih sebagai sampel akhir
- Sumber data adalah GA4, dengan periode 6 bulan terakhir
- Tingkat konversi berbasis sesi digunakan untuk meminimalkan perbedaan antara B2B dan B2C
- Dalam proses pengumpulan data, pemetaan event dan verifikasi pelacakan dilakukan secara manual untuk memastikan keandalan
Pendekatan statistik
- Perbandingan rata-rata dan median, pengukuran deviasi standar dan rentang kuartil
- paired t-test dilakukan untuk memverifikasi perbedaan tingkat konversi organik vs. LLM per situs
- Untuk perbandingan B2B vs B2C digunakan Welch’s test
Hasil utama
- Rata-rata tingkat konversi: organik 4,60% vs. LLM 4,87%
- Rata-rata selisih per situs adalah +0,27pp, dan selisih median adalah +0,09pp
- p-value 0,794 → tidak signifikan secara statistik
- Pada 56% situs, tingkat konversi LLM lebih tinggi, tetapi pada 41% lebih rendah → tidak ada keunggulan yang konsisten
Analisis situs dengan traffic tinggi
- Syarat: ≥100 ribu sesi, ≥50 sesi LLM, ≥5 konversi LLM
- Sampel berkurang dari 54 menjadi 33 situs
- Rata-rata selisih meningkat menjadi +1,24pp, tetapi tetap tidak signifikan secara statistik (p=0,376)
Hasil B2B vs. B2C
- Data keseluruhan:
- B2B → LLM(2,17%) > organik(1,16%)
- B2C → LLM(6,58%) < organik(6,78%)
- Bahkan setelah menerapkan syarat traffic, perbedaannya tetap tidak signifikan secara statistik
- Hasil Welch’s test juga menunjukkan tidak ada perbedaan (p=0,546)
Skala traffic LLM
- Di lebih dari 90% situs, kontribusi LLM kurang dari 0,6% dari total traffic
- Rata-rata hanya menyumbang 0,24% sesi dan 0,42% konversi
- Sebaliknya, pencarian organik menyumbang sekitar 32% dari total sesi dan 34% dari konversi, menunjukkan porsi yang sangat dominan
Analisis per industri
- Di industri keuangan serta perjalanan dan pariwisata, LLM menunjukkan tingkat konversi yang lebih tinggi
- Di e-commerce dan layanan konsumen, pencarian organik lebih unggul
- Jumlah sampel kecil, sehingga interpretasinya terbatas
Kesimpulan dan implikasi
- Berdasarkan data saat ini, tidak ada bukti bahwa traffic LLM memberikan tingkat konversi yang lebih tinggi daripada pencarian organik
- Bahkan, skala traffic LLM sangat kecil → dampaknya minim dibandingkan pencarian organik
- Perjalanan pelanggan semakin kompleks, dan tren penggunaan pencarian serta LLM secara bersamaan terus meningkat
- Menurut laporan terbaru, 46% hanya menggunakan pencarian tradisional, 44% menggunakan pencarian+AI, dan hanya 2% yang berpusat pada AI
- Karena itu, perusahaan perlu tetap melakukan pelacakan dan pemantauan optimasi LLM, sambil tetap menempatkan pencarian organik sebagai kanal prioritas utama
Belum ada komentar.