Analisis perbandingan Google, Bing, Marginalia, Kagi, Mwmbl, dan ChatGPT

Seberapa buruk kualitas hasil pencarian?

• Mengusulkan eksperimen tentang kualitas hasil pencarian. Misalnya, menemukan proyek open source seperti yt-dlp dengan istilah umum seperti "youtube downloader" menjadi sulit karena adanya content farm.
• Banyak profesional teknis menganggap hasil pencarian Google jauh lebih buruk dibanding 10 tahun lalu. Di sisi lain, masih ada yang berpendapat bahwa hasil pencarian tetap bagus.

Perbandingan mesin pencari dan ChatGPT

• Membandingkan hasil pencarian untuk tiga jenis pertanyaan menggunakan berbagai mesin pencari dan ChatGPT.
• Mesin pencari diuji dengan pemblokir iklan dimatikan untuk mereproduksi pengalaman pengguna umum.
• Kualitas hasil pencarian dinilai secara subjektif, dan penilaiannya berbeda tergantung ada tidaknya hasil yang bersifat penipuan.

Evaluasi hasil pencarian

• Marginalia terkadang memberikan jawaban yang lumayan, dan memiliki proporsi hasil penipuan paling rendah.
• Mwmbl memungkinkan pengguna mengedit peringkat hasil pencarian secara langsung.
• Google cenderung menampilkan video YouTube terbaru, yang bagi sebagian besar pengguna tidak berguna.
• ChatGPT menunjukkan performa yang mengesankan dalam satu kasus, dan pada kasus lain menjalankan tugas dengan semestinya atau menolak menjawab pertanyaan.

Masalah pada Google dan Bing

• Google dan Bing mengembalikan berbagai jenis hasil yang keliru.
• Ekosistem pencarian tradisional lebih memprioritaskan apa yang paling menguntungkan rantai pasok perangkat lunak daripada memberikan hasil yang paling bermanfaat bagi pengguna.

Masalah pencarian berbasis iklan

• Mesin pencari berbasis iklan memiliki insentif yang tidak selaras dengan penyediaan hasil pencarian yang baik bagi pengguna.
• Google membuat iklan dan hasil pencarian asli sulit dibedakan, sehingga pengguna bisa kebingungan.

Potensi mesin pencari kecil

• Muncul pertanyaan apakah mesin pencari kecil seperti Marginalia dapat menggantikan Google, atau apakah beberapa mesin pencari kecil bisa memberikan hasil yang lebih baik daripada Google.
• Ada keraguan apakah pendekatan kurasi oleh pengguna di Mwmbl akan efektif.

Opini GN⁺

• Perdebatan tentang kualitas hasil pencarian menunjukkan seberapa besar pengguna bergantung pada mesin pencari. Mesin pencari besar seperti Google memang masih dominan, tetapi ini juga mengisyaratkan bahwa mesin pencari kecil bisa kompetitif di pasar niche.
• Masalah pada mesin pencari berbasis iklan menegaskan bahwa hal itu dapat menjadi penghalang bagi pengguna dalam menemukan informasi yang benar-benar mereka inginkan. Ini menyoroti perlunya mesin pencari alternatif untuk meningkatkan pengalaman pengguna.
• Tulisan ini membantu memahami bagaimana pengguna yang melek teknologi mengatasi keterbatasan mesin pencari, serta memahami masalah mesin pencari yang dihadapi pengguna umum.

[GN⁺]

Opini Hacker News

• Meskipun algoritme Marginalia Search telah ditingkatkan, bisa jadi ia hanya beruntung pada kueri sampel. Saya masih merasa hasilnya sering untung-untungan dibanding alternatif lain. Ini menunjukkan betapa sulitnya menilai kualitas pencarian. Perlu dipahami bahwa sebagai mesin pencari berbasis kata kunci, ia tidak memiliki pemahaman semantik.
• Berbagi pengalaman dengan Kagi: mendengarnya di HN lalu berlangganan setelah 100 kali pencarian. Saat mencari JS dan CSS acak, MDN muncul sebagai hasil pertama, dan jika tidak, situs spam bisa diturunkan peringkatnya.
• Saya termasuk orang yang masih menganggap hasil pencarian Google sangat bagus. Saya mengakui menggunakan pemblokir iklan (uBlock Origin) dan tidak berniat menonaktifkannya. Saya memahami sudut pandang penulis yang mematikan pemblokir iklan untuk meniru pengalaman pencarian pengguna non-ahli, tetapi pengujian lain juga bisa dilakukan saat pemblokir iklan aktif. Ekspektasi hasil pencarian untuk yt-dlp tidak sesuai dengan pengalaman pengguna non-ahli.
• Menyediakan tautan untuk beberapa istilah pencarian guna membandingkan hasil pencarian Kagi saat ini dengan yang dilihat orang tanpa akun.
• Setuju dengan pendapat penulis bahwa spam di web terlalu banyak. Kagi cukup baik dalam menurunkan peringkat spam, dan melalui mode pencarian khusus seperti "Small Web", spam hampir bisa dihilangkan sepenuhnya.
• Pencarian itu sulit, dan sepertinya semua orang tahu cara memanipulasi hasil pencarian. Disarankan menggunakan mesin pencari yang memungkinkan situs diubah secara efektif, seperti Kagi atau mesin pencari terprogram milik Google. Fitur pemungutan suara untuk hasil memang menarik, tetapi berpotensi dimanipulasi. Pendekatan whitelist punya kekurangan, tetapi saya lebih suka memverifikasi domain baru lewat media sosial.
• Klaim bahwa kualitas pencarian memburuk sering kali didasarkan pada bukti anekdotal, padahal seharusnya itu menjadi klaim yang bisa diverifikasi. Memang ada upaya untuk menyajikan bukti dan kriteria nyata, tetapi ukuran sampelnya terlalu kecil untuk membuat klaim umum.
• Tidak paham mengapa orang yang menulis artikel tentang ChatGPT masih menggunakan versi 3.5. Hasilnya sangat berbeda dibanding GPT-4.
• Merekomendasikan mencoba uBlacklist. Ini adalah alat untuk memblokir hasil pencarian, dan pengaturan serta daftar blokir pribadi bisa disinkronkan dengan Dropbox atau Google Drive. Ada juga fitur berlangganan daftar blokir, tetapi belum ada feed bawaan.
• Mempertanyakan ekspektasi bahwa hasil pencarian yang bagus untuk "unduh video YouTube" seharusnya adalah yt-dlp atau yt-dlp dengan antarmuka pengguna grafis. Kebanyakan orang tidak tertarik pada pemrograman, dan ini membuat kita sadar bahwa hasil pencarian bersifat subjektif.
• Tidak bisa mereproduksi hasil buruk yang didapat penulis di Kagi. Untuk istilah yang sama, hasil yang muncul jauh lebih baik. Jadi penasaran bagaimana penulis bisa mendapatkan hasil seburuk itu.
• Ekspektasi penulis bahwa semua hasil pencarian harus mengembalikan jenis tautan yang sama terasa aneh. Pencarian dengan 10 tautan yang semuanya menunjuk ke hal yang sama adalah pencarian yang buruk. Hasil pencarian seharusnya mencakup tebakan yang masuk akal untuk kueri yang diberikan. Pandangan ini juga tercermin dalam metrik kualitas mesin pencari.