Google, Bing, Marginalia, Kagi, Mwmbl, dan ChatGPT dibandingkan dari sisi kualitas pencarian

 (danluu.com)
2 poin oleh GN⁺ 2024-01-01 | 1 komentar | Bagikan ke WhatsApp
  • Hanya dengan 6 kata kunci sederhana, terlihat bahwa hasil teratas dari mesin pencari besar seperti Google dan Bing sering tercampur dengan spam SEO, iklan penipuan, dan jawaban yang tidak akurat
  • Perbandingan mencakup Google, Bing, Marginalia, Kagi, Mwmbl, dan ChatGPT 3.5, serta meninjau hingga hasil yang dilokalkan berdasarkan Vancouver, BC dengan pemblokir iklan dimatikan
  • Marginalia sering tidak bisa memberi jawaban yang sepenuhnya lengkap, tetapi relatif lebih sedikit menampilkan hasil penipuan, sementara ChatGPT kadang bagus pada sebagian pencarian namun juga menunjukkan penolakan menjawab dan halusinasi
  • Google dan Bing menempatkan situs penipuan dan hasil promosi di peringkat atas untuk pencarian umum seperti unduh YouTube, pemblokir iklan, dan prakiraan salju musim dingin
  • Untuk mendapatkan hasil yang baik, kini diperlukan trik pengguna mahir seperti pembatasan situs, kombinasi kata kunci, dan pencarian lanjutan, sehingga makin jauh dari pengalaman lama bahwa “cukup cari saja”

Metode perbandingan dan kriteria penilaian

  • Objek perbandingan adalah Google, Bing, Marginalia, Kagi, Mwmbl, dan ChatGPT 3.5
  • Kata kunci dipilih dari tiga jenis
    • Kata kunci yang mungkin dipakai pengguna nonteknis saat menyiapkan komputer baru
    • Pertanyaan teknis atau sains yang bisa dipahami siswa SMA tetapi sulit ditemukan jawabannya
    • Pencarian informasi lokal yang benar-benar dibutuhkan saat menulis
  • Enam kueri yang digunakan adalah sebagai berikut
    • download youtube videos
    • ad blocker
    • download firefox
    • Why do wider tires have better grip?
    • Why do they keep making cpu transistors smaller?
    • vancouver snow forecast winter 2023
  • Penilaian dibagi menjadi Terrible, Very Bad, Bad, Ok, Good, Great, dan hasil penipuan dianggap sebagai faktor pengurang nilai yang besar
  • Sebagian besar pencarian dijalankan pada November 2023, sebagian lainnya pada pertengahan Desember
  • Kueri mesin pencari dijalankan di jendela incognito baru setelah cookie dihapus, dan untuk Kagi digunakan akun baru karena tidak mengizinkan pencarian saat logout
  • Lokasi adalah Vancouver, BC, dan tampaknya pada beberapa mesin pencari diterapkan peringkat yang dilokalkan

Hasil keseluruhan

  • Marginalia kadang memberi jawaban yang lumayan tetapi tidak sempurna, dan untuk pertanyaan yang tidak bisa dijawab cenderung menampilkan tidak ada hasil atau hasil yang jelas tidak relevan
    • Proporsi hasil penipuan lebih rendah dibanding mesin pencari lain, tetapi dalam eksperimen ini tetap ada beberapa hasil penipuan
  • Mwmbl memungkinkan pengguna mengedit langsung peringkat hasil pencarian
    • Satu kueri, setelah diedit, menjadi hasil yang bisa dianggap Great, tetapi karena itu hasil yang dioptimalkan langsung untuk benchmark, nilainya tidak dimasukkan
  • Google menunjukkan kecenderungan sangat menyukai hasil terbaru dan video YouTube terbaru
    • Pada pencarian ad blocker, muncul video YouTube yang miskin isi, dan video tersebut salah menyatakan bahwa hasil pertama adalah “resmi dari Google”
  • ChatGPT dalam satu kasus jauh lebih baik daripada mesin pencari tradisional, dalam kasus lain cukup baik atau menghindari jawaban, dan pada beberapa kueri menampilkan halusinasi
  • Google dan Bing dinilai mengembalikan lebih banyak hasil yang halusinatif atau manipulatif dibanding ChatGPT pada beberapa kueri
    • Pada pencarian prakiraan salju, muncul situs prakiraan palsu untuk pendapatan iklan dan hasil bisnis lokal yang mendorong langganan layanan pembersihan salju yang tidak perlu

Hasil per kueri

  • download youtube videos

    • Hasil ideal adalah yt-dlp atau GUI wrapper gratis tipis untuk yt-dlp, dan proyek yang lebih jarang diperbarui seperti youtube-dl juga dianggap masih dapat diterima
    • Google tidak punya hasil yang bagus, dan sebagian besar hasil umum teratas berisi ajakan memasang badware, iklan penipuan, alternatif berbayar, artikel daftar promosi, dan video YouTube bergaya spam blog
    • Bing juga tidak punya hasil yang bagus, dengan banyak ajakan memasang ekstensi yang tampak seperti badware, tombol unduh palsu, dan iklan pengunduh berbayar
    • Marginalia menampilkan hasil pertama berupa jawaban lama terkait youtube-dl, dan juga memuat artikel blog tentang pemasangan dan penggunaan yt-dlp, sehingga dinilai paling baik
    • Kagi dipenuhi situs unduhan yang menonjolkan Norton SafeWeb, scam pop-up, dan tautan youtube-dl archive.org yang sudah lama
    • Mwmbl mencampur beberapa software berbayar, artikel instalasi youtube-dl, video tentang GUI wrapper, serta situs penipuan atau berkualitas rendah
    • ChatGPT menjawab agar tidak mengunduh tanpa YouTube Premium dan menolak merekomendasikan aplikasi atau situs pihak ketiga secara spesifik

  • ad blocker

    • Hasil ideal adalah uBlock Origin, atau setidaknya pemblokir iklan nonpenipuan yang secara default memang memblokir iklan
    • Google tidak menampilkan tautan uBlock Origin, dan hasilnya bercampur antara pemblokir iklan yang ikut program Acceptable Ads sehingga mengizinkan sebagian iklan secara default, serta iklan yang tampak penipuan
    • Bing menampilkan iklan teratas yang mengarah ke Avast Secure Browser, TOTAL Adblock, situs ulasan palsu, dan sejenisnya, dengan penanda iklan yang sangat samar sehingga mudah disalahartikan sebagai hasil pencarian biasa
    • Marginalia menampilkan rekomendasi uBlock Origin di hasil ke-3 dan ke-4, dan uBlock Origin itu sendiri di hasil ke-8, serta relatif sedikit hasil penipuan langsung, sehingga tergolong baik
    • Mwmbl mencampur Ghostery, pemblokir iklan berbayar, situs yang penuh iklan, dan rekomendasi uBlock Origin di komentar Hacker News
    • Kagi menempatkan hasil Adblock Plus dan keluarga AdBlock di bagian atas, dan juga memuat artikel dengan pop-up yang mendorong pemasangan TOTAL Adblock
    • ChatGPT, untuk How do I install the best ad blocker?, merekomendasikan uBlock Origin sebagai saran pertama, sehingga dinilai paling baik pada kueri ini

  • download firefox

    • Hasil ideal adalah tautan unduhan Firefox tanpa tautan palsu atau penipuan
    • Bing, Mwmbl, dan Kagi memberi tautan terkait unduhan Firefox sehingga dinilai Great
    • ChatGPT memberi panduan instalasi yang secara teknis tidak akurat, tetapi mengarahkan ke situs yang benar sehingga kemungkinan besar pengguna tetap bisa mengunduh Firefox
    • Marginalia tidak punya tautan langsung unduhan Firefox, hanya tautan tidak langsung terkait Firefox, sehingga dinilai Ok
    • Google memiliki sebagian besar tautan teratas yang normal, tetapi hasil ke-7 dan ke-10 berisi tautan penipuan yang mengarah ke pemasangan badware atau permintaan informasi kartu kredit, sehingga dinilai Bad

  • Why do wider tires have better grip?

    • Jawaban yang benar seharusnya menjelaskan pengaruh ban lebih lebar pada pengereman di permukaan kering dan lap time, pengereman di permukaan basah dan aquaplaning, perbedaan saat lebar velg dan lebar ban diubah secara terpisah, serta perubahan tekanan ban
    • Google, Bing, dan Kagi banyak mengembalikan penjelasan yang tidak lengkap atau salah tentang luas permukaan, patch kontak, beban dinamis, serta halaman promosi
    • ChatGPT memberi jawaban halusinatif yang tata bahasanya bagus tetapi terasa seperti komentar internet yang terdengar meyakinkan
    • Marginalia tidak punya hasil untuk pertanyaan aslinya, dan saat tanda tanya dihapus hanya mengembalikan satu hasil yang salah
    • Mwmbl mengembalikan artikel NYT yang tidak relevan atau tulisan tentang ban sepeda
    • Tidak ada mesin pencari yang berhasil memberikan penjelasan yang benar, dan Marginalia dinilai relatif lebih baik karena lebih sedikit hasil salah dan tautan penipuan

  • Why do they keep making cpu transistors smaller?

    • Jawaban yang diharapkan adalah sumber yang menjelaskan secara intuitif mengapa transistor yang lebih kecil menjadi lebih cepat dan bagaimana hubungannya dengan daya serta kapasitansi
    • Google menampilkan kartu pengetahuan serta hasil Stack Exchange dan Quora, tetapi kebanyakan hanya jawaban parsial seperti “semakin kecil semakin cepat” atau jawaban untuk pertanyaan lain
    • Bing dinilai Ok karena sebagian kartu pengetahuan di atas memberi jawaban parsial yang bisa mengarah ke pencarian lanjutan
    • Kagi mengembalikan hasil Reddit, Stack Exchange, Quora, dan Metafilter, dan pada tautan ke-10 ada jalan menuju Dennard Scaling dan seterusnya, tetapi jawaban langsungnya lemah
    • Marginalia tidak punya hasil, dan Mwmbl hanya mengembalikan satu artikel Vox yang tidak relevan berjudul “Why do artists keep making holiday albums?”
    • ChatGPT memberi jawaban yang tidak benar-benar menjawab seperti peningkatan performa, dan saat diminta penjelasan tambahan malah memberi jawaban yang berpotensi menyesatkan soal propagasi rangkaian dan interkoneksi

  • vancouver snow forecast winter 2023

    • Hasil yang baik adalah prakiraan salju multi-bulan musim dingin 2023 dari Environment Canada yang menyatakan salju di Vancouver akan jauh lebih sedikit dari normal dan suhu lebih hangat
    • Google menampilkan prakiraan palsu dari perusahaan pembersihan salju lokal sebagai kartu pengetahuan, dan halaman itu memprediksi banyak salju serta cuaca dingin untuk mendorong pembelian layanan pembersihan salju
    • Halaman yang tampak sebagai hasil relevan teratas di Bing adalah situs prakiraan palsu SEO yang seolah memanipulasi probabilitas “badai musim dingin” harian
    • Kagi menampilkan situs prakiraan palsu dari Bing itu di empat hasil teratas, serta berita yang tidak relevan dan spam SEO
    • Marginalia tidak punya hasil, dan Mwmbl mengembalikan hasil tidak relevan seperti artikel pemadaman listrik 2022, prakiraan salju Philadelphia, pembekuan sungai di Ohio, dan berita lokal Oregon
    • ChatGPT tidak menjawab langsung dan menyuruh melihat situs atau aplikasi cuaca, dan sekali sempat menyarankan Environment Canada dari prompt yang secara keliru berisi User\n

Cara iklan, SEO, dan halusinasi bercampur

  • Hasil mesin pencari mencampurkan hasil yang dimanipulasi secara sengaja dengan halaman farm iklan SEO yang lebih umum
  • Pada pencarian prakiraan salju, muncul situs prakiraan palsu untuk pendapatan iklan dan prakiraan palsu yang mendorong pembelian layanan pembersihan salju
  • Pada pencarian pemblokir iklan, ada situs ulasan palsu yang tampak objektif tetapi sebenarnya mengarahkan pemasangan pemblokir iklan tertentu
  • Pada pencarian unduhan YouTube, software berbayar, ekstensi yang dicurigai badware, dan tombol unduh palsu berulang kali muncul menggantikan alat open source gratis
  • Ekosistem pencarian tradisional dinilai sangat terdorong untuk menempatkan hasil yang paling menguntungkan rantai pasok software di depan, bukan hasil yang terbaik bagi pengguna
  • Sinyal peringkat seperti klik dan engagement hanya bisa memperkuat hasil yang baik jika pengguna cukup mahir untuk mengenali hasil yang baik

Masalah insentif dalam pencarian berbasis iklan

  • Makalah PageRank asli Sergey Brin dan Larry Page menilai bahwa pencarian berbasis iklan memiliki ketidakselarasan insentif dengan penyediaan hasil pencarian yang baik
  • Makalah itu menjelaskan bahwa pendapatan iklan dapat membiaskan mesin pencari ke arah pengiklan dan menjauhkannya dari kebutuhan konsumen
  • Saat ini Google dan Bing telah berubah ke arah membuat iklan terlihat seperti hasil pencarian sungguhan, dan banyak pengguna dianggap tidak bisa membedakan iklan dari hasil organik
  • Penilaian peringkat didasarkan pada urutan yang terlihat di halaman
    • Jika ada 4 iklan di atas hasil organik, maka iklan dihitung sebagai peringkat 1–4 dan hasil organik dihitung sebagai peringkat 5
  • Pada contoh pencarian cellular phone, hasil atas Google terisi Google Store Pixel 7, ponsel Android Amazon, Wikipedia, hasil komersial, dan spam SEO
  • Hasil bagus yang disebut dalam makalah PageRank, yaitu “The Effect of Cellular Phone Use Upon Driver Attention”, tenggelam di bawah tumpukan hasil komersial dan tidak terlihat

Kemungkinan mesin pencari kecil dan metasearch

  • Menarik bahwa Marginalia, meski merupakan mesin pencari yang dikembangkan satu orang, menghasilkan hasil yang relatif baik pada beberapa kueri
  • Membuat mesin pencari arus utama pengganti Google tetap sulit
    • Pengindeksan real-time untuk hal-hal seperti Twitter dan berita
    • NLP yang lebih dari sekadar tingkat dasar
    • Bertambahnya fitur yang diharapkan pengguna dari mesin pencari
  • Sebaliknya, mesin pencari yang berguna untuk sejumlah kecil pengguna dianggap menjadi lebih mudah dibuat
    • Karena hasil Google pada banyak kueri dinilai lebih buruk daripada sebelumnya
  • Disebutkan bahwa Google kini makin sering gagal mengembalikan halaman yang diinginkan, bahkan untuk halaman yang kurang populer atau pencarian string yang diingat dengan tepat
    • Dulu hal ini hampir tidak pernah terjadi, pada 2015 jarang terjadi, dan sekarang terjadi dalam proporsi yang cukup besar
  • Apakah kombinasi beberapa mesin pencari kecil dapat memberi hasil lebih baik daripada Google untuk banyak pengguna dianggap sudah mendekati “ya” selama beberapa tahun
  • Pendekatan kurasi pengguna di Mwmbl dianggap sulit tanpa penyesuaian tambahan
    • Ada kasus editan pengguna yang menambahkan blogspam ke peringkat atas untuk pencarian RSS, dan tidak ada cara pelaporan yang mudah ditemukan
  • Pendekatan seperti Metacrawler tahun 1996 yang menggabungkan banyak mesin pencari, ChatGPT, Bard, dan lain-lain mungkin cukup baik secara teknis, terlepas dari masalah hukum dan biaya lisensi

Lampiran: mesin pencari lain

  • DuckDuckGo pada masa lalu sangat mirip Bing, dan kali ini juga setelah iklan Bing dihapus hasilnya tetap mirip, meski tidak semirip dulu, sehingga dinilai tidak terlalu layak dimasukkan ke tabel terpisah
    • Jika pengguna mahir menulis kueri, hasilnya bisa lumayan seperti Google, tetapi untuk kueri naif dalam perbandingan ini hasilnya tidak bagus
  • wiby.me adalah mesin pencari untuk menemukan hasil yang relatif tidak jelas seperti Marginalia
    • Pada 4 kueri hasilnya menarik dan sangat berbeda, tetapi tidak berhasil mengembalikan hasil yang relevan
  • searchmysite.net memberi hasil yang agak relevan pada beberapa kueri, tetapi relevansinya tidak setinggi Marginalia
    • Dibanding Google, Bing, dan Kagi, hasil penipuan dan halaman promonya jauh lebih sedikit
  • indieweb-search.jamesg.blog gagal diproses pada semua kueri karena error server
  • Teclis masih memiliki kotak pencarian, tetapi ditutup karena penyalahgunaan bot, dan halaman depannya memberi tahu bahwa 99,9% traffic berasal dari bot
    • Diberitahukan bahwa hasil Teclis bisa digunakan lewat lensa Non-commercial Web milik Kagi dan API-nya

Lampiran: proses memutar untuk menemukan jawaban yang baik

  • Pada pertanyaan tentang daya cengkeram ban lebar, mesin pencari umum tidak memberi jawaban yang baik, dan proses pencariannya berlanjut ke pencarian YouTube, komentar, buku otomotif, penelusuran buku serupa, lalu pencarian nama model tertentu
  • Tune To Win karya Carroll Smith menyebut bahwa patch kontak yang lebih lebar mengurangi akumulasi panas dan memungkinkan desain karet yang lebih lunak yang bekerja dalam rentang suhu lebih sempit, tetapi dianggap belum cukup menjelaskan fenomena yang diamati
  • The Unified Theory of Tire and Rubber Friction karya Kummer, The Physics of Tire Traction karya Hays and Browne, serta Race Car Vehicle Dynamics karya Milliken and Milliken juga belum sampai pada penjelasan yang memadai
  • The Science of Vehicle Dynamics karya Guiggiani lebih dekat ke cara memikirkan dan memodelkan faktor-faktor terkait
  • Dengan petunjuk brush model di bab terakhir, pencarian brush model tire width mengarah ke Tire and Vehicle Dynamics karya Pacejka, dan buku ini dianggap mulai menjelaskan daya cengkeram ban lebar serta pemodelan dinamika ban dan kendaraan yang diperlukan
  • Untuk mendapat hasil pencarian yang baik, dibutuhkan trik pengguna mahir yang menggabungkan kata kunci, situs, dan pencarian lanjutan, dan tidak semua pengguna memiliki trik seperti ini

Contoh kartu pengetahuan Google

  • Disebutkan bahwa hasil kartu pengetahuan Google sering tidak akurat, bahkan untuk jawaban yang mudah ditemukan atau pertanyaan yang lucu
  • oc2 gemini length mengembalikan panjang bayi 20″ yang disebut dalam artikel, bukan panjang perahu
  • busy beaver number mengembalikan nomor telepon (604) 375-2754
  • Feedly revenue mengembalikan $5.2M/yr berdasarkan situs yang tampak memanipulasi estimasi pendapatan dan laba perusahaan privat
  • boston up118s dimensions mengembalikan ukuran piano 5826298 x 5826899 x 582697 in
  • Intel number of engineers mengembalikan nomor telepon alih-alih jumlah insinyur
  • fraser river current speed mengembalikan angka tidak akurat 97 to 129 kilometers per hour
  • futura c-4 surfski weight mengembalikan 39 pounds, yaitu berat surfski lain

Tanggapan atas kritik

  • Perbandingan ini bukan studi peer-reviewed dan memuat penilaian subjektif terhadap beberapa kueri
  • Berdasarkan pengalaman dengan makalah di bidang information retrieval dan best paper award, penulis menilai bahwa makalah akademik tidak otomatis lebih ketat secara metodologis
  • Disebutkan bahwa sebagian bantahan dari pengguna Kagi berupa mematok hasil GitHub atau hanya menjalankan kueri yang memang menghasilkan hasil bagus di GitHub
  • Disebutkan juga bahwa belum ada bantahan yang benar-benar menunjukkan hasil bagus pada kueri ban, transistor, dan prakiraan salju
  • Inti perdebatan kualitas pencarian bukanlah trik pencarian milik pengguna mahir, melainkan seberapa mudah pengguna biasa yang melakukan pencarian sederhana bertemu iklan penipuan dan spam SEO

Bacaan terkait

1 komentar

 
GN⁺ 2024-01-01
Opini Hacker News

  • Meski baru-baru ini algoritma pencarian telah banyak ditingkatkan, saya rasa Marginalia Search agak beruntung pada contoh kueri itu
    Hasilnya masih cenderung lebih tidak konsisten dibanding alternatif lain, dan itu juga menunjukkan betapa sulitnya evaluasi kualitas pencarian
    Efektivitasnya juga sangat bergantung pada apakah pengguna memahami bahwa ini adalah mesin pencari berbasis kata kunci tanpa pemahaman makna

    • Justru bagus karena ini pencarian kata kunci tanpa pemahaman makna
      “Pemahaman makna” kadang bisa bias dan bekerja dengan cara yang mencurigakan
    • Saya ingin mendengar lebih banyak hal yang menurut Anda pribadi berkesan soal bagian bahwa evaluasi kualitas pencarian itu sulit
      Saya cukup mengikuti ranah pencarian DIY/non-korporat seperti YaCY, dan ingin tahu lebih banyak tentang latar belakang keputusan engineering saat membuat mesin pencari
      Secara keseluruhan Marginalia adalah karya yang sangat mengesankan, dan dari para pengguna di sini saya hanya mendengar penilaian positif
    • Ini umpan balik setelah saya mencobanya untuk memastikan sebenarnya seperti apa
      Saya mencari marginalia di DDG, tetapi tidak ada di halaman pertama, dan di Google muncul setelah berbagai hasil acak
      Jika membuka marginalia.nu, muncul kesalahan SSL, sedangkan search.marginalia.nu berfungsi
      Jika mencari duckduckgo di Marginalia, tautan pertama terkait aplikasi sehingga masih agak relevan, tetapi sisanya meski berhubungan dengan DDG, relevansinya terasa samar
      Mencari uBlacklist yang disebutkan di atas pun tidak menampilkan hasil yang terkait langsung
    • Sepertinya pertanyaan “bagaimana satu developer bisa melakukannya sebaik itu” benar-benar dihindari ;)
      Memang benar pencarian jadi jauh lebih buruk, tetapi kemampuan menyusun kata pencarian dengan mengetahui kata-kata ajaib seperti “ublock origin” alih-alih “Adblock”, atau “yt-dlp” alih-alih “download YouTube”, juga meningkat
      Pada dasarnya kita semua telah melakukan prompt engineering terhadap model bahasa raksasa berskala seluruh internet, yang semua pihaknya adalah pelaku spam

  • Pencarian sekarang cukup sulit, dan semua orang tahu cara memanipulasi hasil
    Saya merekomendasikan mesin pencari yang memungkinkan kita mengubah secara efektif situs mana yang akan muncul, seperti Kagi atau Programmable Search Engines dari Google
    Khusus YouTube, saya memblokirnya karena meski kadang ada hasil yang tepat, saya tidak suka hasil umum tercemar oleh video. Mendapatkan informasi dari video memakan waktu terlalu lama
    Fitur yang bisa merekomendasikan hasil untuk kueri tertentu memang menarik, tetapi kemungkinan besar itu juga bisa dimanipulasi, dan pada akhirnya hanya pendekatan DIY yang tampak bisa ditangani
    Dalam kasus saya, saya hanya mengizinkan hasil dari domain yang saya percaya benar. Pendekatan whitelist punya kelemahan, dan biasanya domain baru saya verifikasi bukan lewat hasil pencarian, melainkan lewat jalur sosial seperti Reddit atau di sini
    Saya rasa ada trade-off mendasar antara kemudahan menemukan sesuatu dan kemungkinan hasil dimanipulasi
    Saya paham kerinduan pada hasil pencarian Google tahun 2008, tetapi saat itu konten jumlahnya beberapa orde lebih sedikit daripada sekarang, dan dunia bisnis juga belum tahu seberapa bernilainya peringkat pencarian, jadi mungkin hampir tidak ada SEO
    Selain itu, saya tidak setuju bahwa ketika pengguna rata-rata mencari “Youtube Download”, yt-dlp adalah “jawaban yang benar”. Kemungkinan besar pengguna rata-rata tidak tahu command line, dan juga tidak ingin menggunakannya

    • Belakangan ini, saat mencari, saya justru lebih memprioritaskan video YouTube
      Banyak situs web hanyalah olahan ulang dari konten yang sama seperti ladang SEO berkualitas rendah, karena mudah dibuat dan murah di-hosting
      Sebaliknya, membuat video membutuhkan waktu dan usaha, sehingga hambatannya lebih tinggi untuk dijadikan click farm
      Beberapa kali, ketika pencarian tradisional gagal, video di YouTube yang diunggah sekitar 2009 menjelaskan dengan jelas, tenang, dan terperinci hal yang saya cari
      Untuk mencari informasi pembelian produk pun sering menjadi sumber yang lebih baik. Misalnya saat mencari kipas angin mana yang akan dibeli, ada kanal khusus yang menguji kegunaan berbagai kipas angin serta menunjukkan pendekatan dan hasilnya lewat video
      Kanal arus utama tidak terlalu membantu, tetapi video penuh passion bergaya “web lama” ada hampir di topik apa pun dan terasa seperti gudang harta karun
    • Tahun 2008 adalah 10 tahun setelah Google dibuat, dan orang-orang sudah memahami SEO, sementara Google juga terus memperbarui algoritmanya untuk menghukum manipulasi
      Misalnya, artikel Wikipedia “link farming” menjelaskan bahwa praktik semacam itu sudah ada sejak 1999 dan menargetkan SEO Inktomi
      https://en.wikipedia.org/wiki/Link_farm
      Saya ingat sekitar 2004, dalam presentasi internal Amazon juga ada pembahasan bahwa memperkuat SEO Google untuk halaman web Amazon akan meningkatkan traffic dan penjualan. Amazon justru agak tertinggal karena semacam sindrom NIH
    • Sulit dipercaya bahwa mesin pencari begitu kesulitan membedakan situs lama yang tepercaya dari sampah generatif yang dibuat hanya agar muncul sebagai hasil pencarian
      Jika manusia bisa membedakannya, pada prinsipnya komputer juga bisa
    • PSE Google cukup bagus, tetapi tidak ada cara yang baik untuk beralih dan mengelola beberapa PSE
      Padahal jika UI tautan publik tiap PSE diberi dropdown kecil saja, kita bisa memilih mana yang akan dipakai; sayang sekali
      Giggle[1] menyediakan fitur ini, dan saya menjalankannya secara lokal bersama Kagi untuk pencarian yang lebih spesifik terhadap daftar domain yang saya kumpulkan selama beberapa tahun
      1. https://github.com/dan-lovelace/giggle
    • Karena aspek manipulasi hasil, saya menyukai mesin pencari untuk situs nonkomersial
      Jika tidak ada pendapatan dari klik, sebagian besar permainan itu sendiri menghilang
      Bukan berarti mereka tidak berhak menghasilkan uang, tetapi model itu jelas mendorong perilaku yang memusuhi pengguna
      Situs yang sah seperti jurnalisme pun memakai model ini, jadi mungkin bagus jika dijadikan opsi

  • Saya mengetahui Kagi dari HN, lalu berlangganan setelah mencobanya untuk 100 pencarian
    Kalau mencari topik acak terkait JS atau CSS, MDN muncul sebagai hasil pertama; kalau tidak, situs spam di bagian atas bisa diturunkan peringkatnya
    Akan bagus kalau model bahasa besar lokal dilatih untuk mendeteksi clickbait atau konten minim usaha
    Saya membayangkan di pencarian YouTube, semua clickbait dilipat seperti Kagi mengelompokkan artikel berbentuk daftar, dan hanya sisanya yang tetap ada sebagai konten yang berpotensi berkualitas tinggi. Entah apakah itu sudah mungkin sekarang

    • Untuk video YouTube, memakai Kagi Summarizer membuat kita tidak perlu membuang waktu menonton video sampah
      Ini life hack yang bagus
    • Saya melihatnya di HN dan menjadi penggemar berat Kagi
      Mengejutkan melihat betapa bagusnya sebuah mesin pencari bisa menjadi ketika tidak dipenuhi iklan
    • Saya sudah membayar Kagi selama lebih dari 6 bulan dan sangat puas
      Saya termasuk cukup tidak suka berlangganan, jadi untuk area layanan yang biasanya gratis, penilaian seperti ini cukup berarti
      Kadang untuk pencarian lokal saya harus beralih ke Google, tetapi selain itu saya puas

  • Saya membagikan hasil Kagi saat ini agar orang yang tidak punya akun bisa membandingkan
    youtube downloader
    https://kagi.com/search?q=youtube+downloader&r=us&sh=_szITdy...
    ad blocker
    https://kagi.com/search?q=Ad+blocker&r=us&sh=-BHzV2ZoCDpmgOu...
    download Firefox
    https://kagi.com/search?q=Download+Firefox&r=us&sh=zkkmc_EQX...
    why do wider tires have better grip?
    https://kagi.com/search?q=Why+do+wider+tires+have+better+gri...
    why do they keep making cpu transistors smaller?
    https://kagi.com/search?q=Why+do+they+keep+making+cpu+transi...
    vancouver snow forecast winter 2023
    https://kagi.com/search?q=Vancouver+snow+forecast+winter+202...
    Saya setuju dengan penulis bahwa web terlalu banyak spam. Saya menilai Kagi biasanya cukup baik menurunkan peringkat spam, dan jumlah iklan serta pelacak menjadi sinyal peringkat negatif bagi Kagi
    Meski begitu, masih bisa lebih baik lagi, dan mode pencarian khusus seperti “Small Web” pada praktiknya menghapus spam
    Verifikasi seperti ini dari komunitas kami sambut baik, dan semoga terus menjaga kami tetap jujur

    • Kagi memberi situs web yang mengharuskan lebih banyak klik, sedangkan Google langsung memberi jawaban yang masuk akal
      Dalam contoh-contoh itu juga tidak terlihat spam
      Untuk “why do wider tires have better grip?”, jawabannya adalah ban yang lebih lebar mendistribusikan bobot lebih merata lewat bidang kontak yang lebih besar dan meningkatkan grip saat menikung, sehingga memperbaiki pengendalian dan stabilitas
      Untuk “why do they keep making cpu transistors smaller?”, jawabannya adalah transistor yang lebih kecil dapat melakukan lebih banyak komputasi tanpa panas berlebih, lebih efisien daya, serta menurunkan biaya dengan mengurangi ukuran die dan meningkatkan densitas sehingga jumlah core per chip bisa bertambah
      Untuk “vancouver snow forecast winter 2023”, jawabannya adalah pada musim 2023/2024 diperkirakan akan ada cukup banyak salju dan suhu di sekitar titik beku, jadi perlu bersiap

  • Dalam tulisan terkait ChatGPT, saya benar-benar sulit memahami mengapa memakai 3.5
    Itu cukup menyesatkan tentang hasil yang bisa didapat dari versi ChatGPT terbaik yang tersedia
    Sebagai pembanding, hasil ketika semua pertanyaan penulis diajukan ke GPT-4 ada di sini
    https://chat.openai.com/share/ed8695cf-132e-45f3-ad27-600da7...

    • Karena yang bisa diakses kebanyakan orang adalah ChatGPT 3.5
      Berbicara kepada mayoritas pembaca tentang sesuatu yang tidak akan mereka bayar hampir tidak berguna, dan pihak ketiga mana pun juga tidak punya kewajiban mendorong orang lain mengirim uang ke OpenAI
      Kalau tidak senang orang memakai 3.5, seharusnya protes ke OpenAI, bukan kepada orang-orang yang memakai layanan yang disediakan gratis
      Secara pribadi, saya tidak merasa pujian berlebihan atas perbedaan antara 4 dan 3.5 itu dapat dibenarkan
      https://news.ycombinator.com/item?id=38304184
    • Kalau memang seburuk itu, mengapa OpenAI masih terus menyediakan ChatGPT 3.5?
    • Bagi kebanyakan orang, ini agak sulit digunakan
      Mereka harus membayar langganan tetap 20 dolar per bulan dengan batas jumlah pesan, memahami cara mendapatkan API key, atau memakai layanan pihak ketiga dengan biaya dan batasan serupa

  • uBlacklist layak dicoba. Ini seperti uBlock untuk hasil pencarian
    https://addons.mozilla.org/en-US/firefox/addon/ublacklist/
    https://chromewebstore.google.com/detail/ublacklist/pncfbmia...
    Pengaturan dan daftar blokir pribadi bisa disinkronkan ke Dropbox atau Google Drive, dan juga bisa berlangganan daftar blokir
    Namun mesin pencari harus diaktifkan sendiri dan daftarnya harus dilanggan. Di pengaturan langganan uBlacklist belum ada feed bawaan
    Di situs uBlacklist ada beberapa feed
    https://iorate.github.io/ublacklist/subscriptions
    Saya juga menemukan daftar feed yang lebih baik
    https://github.com/quenhus/uBlock-Origin-dev-filter#other-fi...

    • Fitur ini sudah ada di Kagi
      Di hasil pencarian, domain bisa dinaikkan peringkatnya atau dimasukkan ke blacklist
    • uBlacklist benar-benar hebat
      Saya sudah memakainya selama beberapa tahun dan sama sekali tidak pernah ada masalah
      Tips cepat: aktifkan “Skip the "Block this site" dialog” dan matikan “Hide the "Block this site" links” agar bisa memblokir situs web spam jauh lebih cepat
    • Jika uBlacklist dipakai bersama blacklist sendiri, Google juga jadi cukup layak digunakan

  • Saya termasuk pihak yang masih menganggap hasil Google sangat bagus
    Namun saya memakai uBlock Origin, dan tidak akan mencoba mematikannya
    Saya paham maksud penulis mematikan pemblokir iklan demi mendapatkan “pengalaman browsing non-ahli”, tetapi ia juga bisa melakukan pengujian terpisah dengan uBlock aktif untuk semua kueri
    Selain itu, meniru pengalaman non-ahli sambil berharap yt-dlp muncul di hasil unduhan video terasa agak tidak konsisten
    yt-dlp adalah utilitas Python berbasis command line. Itu jauh dari ranah non-ahli
    Kebanyakan orang bahkan tidak tahu bahwa video adalah file yang bisa diunduh, dan bahkan di antara yang tahu pun sebagian besar tidak mengenal command line atau Python
    Jika mencari “how to download youtube videos” di Google, hasil pertama adalah layanan bernama savefrom.net, yang berfungsi dengan baik dan tidak terlihat seperti penipuan. Menurut standar saya, itu tergolong “sangat bagus”
    Jika mencari “how to download youtube videos from the command line”, beberapa hasil teratas terkait youtube-dl dan juga mencakup tautan GitHub serta Super User. Memang tidak menyebut yt-dlp, tetapi youtube-dl adalah titik awal yang bagus

    • Jika mencari “how to download youtube videos” di Google lewat tab incognito, dua hasil pertama yang muncul adalah seperti berikut
      https://msunduziassociation.online/perfect-online-videos/
      https://gssaction.org/program-all-in-one-media-solutions/
      Seperti penulis, saya jelas akan memasukkannya ke kategori “mengerikan”
    • Saya penasaran apakah Anda benar-benar pernah mencoba savefrom.net
      Jika memasukkan “https://www.youtube.com/watch?v=IkYVmtgxebU” lalu menekan “Download”, tab baru yang mencoba memasang malware akan terbuka
      Jika instalasinya ditolak, tab baru itu berpindah ke beranda malware tersebut
      Jika menutup tab itu dan kembali ke tab semula, savefrom.net menampilkan error “The download link not found.” dan tidak membantu mengunduh video
    • Pemblokir iklan memang perlu, dan secara pribadi saya juga menganggap pemblokir skrip perlu
      Ada perasaan samar bahwa pencarian memburuk seiring waktu, tetapi itu bukan masalah besar. Biasanya situs yang bagus ada di satu atau dua halaman pertama, jadi tinggal masuk dan memeriksanya
      Namun jika artinya kita diserang begitu mengklik sebuah situs, tingkat keseriusannya naik drastis. Yang penting bukan hanya apakah ada situs bagus, tetapi juga apakah tidak ada situs buruk
      Selain itu, orang-orang secara umum perlu dilatih agar tidak mengunduh program dari situs web. Seiring waktu, hal ini tampaknya sedikit membaik
      Google juga bisa saja menurunkan peringkat situs yang memiliki tautan file executable, dan mungkin mereka memang sudah melakukannya
    • Saya termasuk pihak yang menganggap Google dan mesin pencari lain mengerikan kecuali untuk istilah teknis yang sangat spesifik dan unik seperti “weak neutral currents”
      Untuk pencarian yang lebih sehari-hari, rasanya seperti mengais tumpukan sampah yang bahkan tidak memuat istilah yang dicari
      Pencarian “verbatim” pun harus mengandalkan keberuntungan. Entah diabaikan atau hasilnya 0
    • Inti yang saya dapat dari tulisan itu adalah “jangan bergantung pada perasaan orang lain atau meme bahwa X buruk dan Y bagus; semua orang bisa membuat pengujiannya sendiri”
      Meniru pengalaman non-ahli tanpa workaround bukanlah pola penggunaan umum. Sebab setiap orang punya caranya sendiri untuk mendapatkan nilai lebih dari alat yang disukai
      Namun tulisan ini menunjukkan cara menyusun eksperimen, seperti “mengapa kueri ini dipilih, bagaimana penipuan dinilai”
      Saya berharap orang-orang mengevaluasi dengan semangat yang sama apakah pilihan alat mereka saat ini terjebak di optimum lokal

  • Saya jadi paham mengapa orang merasa hasil pencarian itu buruk
    Untuk “Download youtube videos”, hasil yang bagus disebut “idealnya hasil teratas adalah yt-dlp atau wrapper grafis yang tipis”
    Saya cuma butuh situs web tempat saya bisa memasukkan tautan unduhan dan menyimpannya ke hard disk. Saya tidak peduli paket apa yang dipakai
    Saya juga tidak khawatir soal malware seperti era 90-an, dan 99,999% orang bukan orang yang berkutat dengan pemrograman
    Ini membuat saya sadar betapa subjektifnya hasil pencarian. Hasil yang “bagus” bagi mereka semuanya “mengerikan” bagi saya

    • Malware era 90-an, lebih tepatnya virus sungguhan, sebenarnya levelnya konyol
      Terutama karena komputer waktu itu benda yang terisolasi. Komputer yang terhubung adalah pengecualian
    • Saya baru saja mencobanya, dan hasil pertama Kagi persis situs seperti itu
      Situs itu memproses video dengan sangat cepat dan memberi unduhan
      Orang rasional mana yang akan lebih memilih youtube-dl

  • Yang selalu membingungkan dari sikap “pencarian sudah jadi sangat buruk” adalah sering kali itu didasarkan pada bukti anekdotal paling-paling, atau kalau lebih buruk lagi pada ingatan anekdotal
    Saya juga punya kesan bahwa pencarian memburuk dalam beberapa tahun terakhir, tetapi bagaimana kita bisa tahu apakah itu benar
    Itu harus menjadi klaim yang bisa diverifikasi. Coba saja N kueri teratas dari tempat seperti Google Trends dan lihat performanya
    Rasanya mudah membuat benchmark, tetapi tidak ada orang yang mengeluhkan masalah ini mau melakukannya
    Dan memang mulai menyajikan bukti nyata dan kriteria untuk memberi skor hasil, tetapi ia pun hanya melihat 5 contoh. Itu sampel yang benar-benar kecil untuk membuat klaim umum
    Jadi saya masih bertanya-tanya mengapa ada begitu banyak tulisan tentang perasaan bahwa pencarian memburuk, tetapi tidak ada yang memverifikasi klaim itu

    • Intinya sepertinya halaman hasil mesin pencari arus utama adalah ladang ranjau penipuan yang sulit dilalui orang awam dengan aman
      Kalau masalahnya hanya relevansi, kritik bahwa sampelnya kecil memang valid, tetapi kalau penekanannya adalah dampak merugikan, sampel kecil pun bermakna
      Kalau seseorang berkata “saya menemukan jarum suntik bekas di 3 dari 5 taman bermain”, biasanya kita tidak meminta p-value dan error bar
    • Saya tidak menganggap itu kritik yang adil
      1. Tahap menilai “seberapa baik ini bekerja” pada dasarnya pasti subjektif
      2. Orang bisa merancang studi dan merekrut peserta, tetapi itu bukan tugas seorang blogger
      3. Tulisan itu juga menautkan survei yang menunjukkan orang setuju bahwa hasilnya memburuk. Memang ada masalah sampel, tetapi masih lebih baik daripada tidak ada
        Khususnya dalam kasus ini, penulis menjawab pertanyaan “hasil mana yang paling baik menurut selera saya?”
    • Saya tidak bisa mewakili orang lain; saya hanya mencoba mencari sesuatu secara online
      Saya tidak sedang berusaha membuat mesin pencari untuk menyaingi Google atau menulis makalah
      Masalah ini sudah beberapa kali diangkat di sini selama bertahun-tahun, tetapi jawabannya selalu berupa penjelasan, bukan solusi
      Penurunan kualitas tidak terjadi dalam semalam, melainkan berlangsung selama bertahun-tahun
      Google mulai menampilkan “did you mean...?” karena beberapa kueri dianggap kurang umum, sehingga memaksa klik kedua untuk pencarian yang sebenarnya ingin dilakukan, lalu semakin buruk ketika bahkan qualifier untuk mengabaikan itu pun diabaikan
      Saat saya menyadari bahwa kueri sederhana tiga kata yang dipilih dengan hati-hati menghasilkan ribuan hasil tanpa satu pun yang relevan, saya merasa sudah cukup. Ini bisa berbeda untuk tiap orang
    • Dan mendekati masalah ini dari sudut pandang kualitatif
      Kalau lebih banyak orang memakai pendekatan seperti ini alih-alih maksimalisme kuantitatif, mungkin akan ada lebih sedikit produk yang membuat kita gila
      Yang penting adalah rasa yang luar biasa kuat bahwa pencarian memburuk, bukan satu spreadsheet lagi yang membawa kita sampai ke titik ini
    • Untuk melakukan ini, dibutuhkan definisi “kualitas” yang komprehensif, yang sama sekali tidak mudah dan setidaknya sebagian pasti subjektif
      Sulit juga memasukkan kelalaian ke dalam definisi kualitas, dan apa yang seharusnya dihilangkan pun subjektif
      Misalnya saat mencari “Gaza”, satu mesin mungkin hanya berfokus pada peristiwa terbaru, sementara mesin lain mungkin mengabaikan peristiwa terbaru dan hanya menyertakan informasi umum
      Mana yang kualitasnya lebih tinggi? Dalam praktiknya, itu bergantung pada apa yang dicari
      Pada akhirnya, kita hanya bisa membuat daftar subjektif tentang hal-hal yang dianggap penting dan memberi skor berdasarkan itu, yang hampir sama dengan evaluasi anekdotal dengan langkah tambahan

  • Jika ingin tahu mengapa Google atau mesin pencari mana pun kurang bagus, lihat bagaimana mereka mengukur hasil pencarian mereka sendiri
    Sebagian besar perusahaan pencarian melakukan hal yang mirip dengan yang dilakukan penulis, dalam skala besar dan berdasarkan pedoman yang sangat spesifik
    Misalnya ada pedoman 168 halaman untuk penilai kualitas pencarian Google
    https://static.googleusercontent.com/media/guidelines.raterh...
    Isinya antara lain tentang memahami makna kueri, menilai maksud pengguna, menilai “kualitas” situs web, dan memberi skor seberapa berguna sebuah situs dibandingkan makna serta maksud kueri
    Dengan kata lain, bukan berarti perusahaan pencarian tidak melakukan apa yang dilakukan penulis; standar mereka saja yang berbeda dari penulis
    Standar itu mungkin lebih cocok dengan pengguna daripada standar penulis, tetapi bisa juga tidak, dan tidak akan selalu begitu selamanya

    • Sulit mengatakan bahwa pernyataan itu benar
      Halaman 29 dari dokumen yang ditautkan menjelaskan “Lowest Quality Content”
      Sebagian besar hasil pencarian yang dinilai penulis sebagai spam atau penipuan jelas masuk ke pedoman itu
      Jadi entah para penilai tidak cukup memahami topik tersebut sehingga tidak bisa mengenali situs yang berbahaya atau menyesatkan, atau para penilai sudah menilai dengan benar tetapi efek yang diinginkan tidak tercapai
    • Ini mungkin terkait dengan bagaimana Google memahami pencarian “orang biasa”
      Google sudah terlihat sebagai mesin pencari produk sekaligus situs perbandingan harga, dan di bidang itu ia sangat bagus
      Untuk produk apa pun yang layak dipertimbangkan untuk dibeli, Google menemukan produk yang relevan, jadi mungkin Google mengoptimalkan ke arah itu
      Sebagian besar pencarian saya terkait IT, pemrograman, perangkat lunak, dan komputer secara umum, tetapi orang biasa mencari produk, berita, dan jam buka toko
      Google cukup bagus untuk hal-hal seperti itu, dan uangnya ada di “pergi membeli sesuatu”
      Iklan pencarian produk Google selalu jauh lebih akurat daripada hasil pencarian sebenarnya
      Saya rasa Google mengoptimalkan untuk penjualan produk
    • Mengapa pengguna rata-rata menginginkan hasil pencarian berupa spam blog
      Saya berharap ketika model bahasa besar membaik, mereka bisa menyaring hasil yang dikembalikan dengan lebih baik