Menanti Fajar Pencarian: Indeks Pencarian, Putusan Google, dan Dampaknya bagi Kagi

• Google menguasai lebih dari 90% pasar pencarian global, dan ini membuat infrastruktur inti bagi perkembangan AI serta akses informasi dikendalikan oleh satu perusahaan
• Pada Agustus 2024, pengadilan AS memutuskan bahwa Google menyalahgunakan posisi monopolinya di layanan pencarian umum, lalu DOJ (Departemen Kehakiman AS) mengumumkan langkah perbaikan yang mencakup pembukaan indeks dan berbagi data
• Kagi adalah layanan pencarian berbayar tanpa iklan; setelah gagal dalam negosiasi lisensi langsung dengan Google dan Bing, saat ini Kagi menggunakan pendekatan akses sementara melalui API pihak ketiga
• Jika usulan perbaikan DOJ diterapkan, Google harus menyediakan indeks pencarian dan hasil berbasis kueri kepada pesaing dengan syarat yang adil, yang akan memperluas peluang inovasi bagi perusahaan pencarian independen seperti Kagi
• Kagi menargetkan ekosistem berlapis tempat pencarian publik, berbasis iklan, dan berbayar hidup berdampingan, dengan tujuan memulihkan akses informasi sebagai barang publik

---

Realitas monopoli pencarian

• Menurut data StatCounter per Oktober 2025, pangsa pasar pencarian Google secara global mencapai 90.06%, dan di AS mencapai 85%
  • Bing 4.31%, Yandex 1.84%, Yahoo 1.45%, DuckDuckGo 0.89%, Baidu 0.73%
• Ini bukan pasar yang kompetitif, melainkan struktur yang secara de facto monopolistik, dengan indeks pencarian berfungsi sebagai infrastruktur inti yang tak tergantikan
• Meski Microsoft telah menginvestasikan sekitar 100 miliar dolar AS ke Bing selama 20 tahun, pangsa pasarnya tetap bertahan di satu digit
• Sherman Act disebut sebagai hukum yang ditujukan untuk mengatur monopoli atas infrastruktur inti semacam ini, dan menjadi dasar untuk memaksakan akses yang adil
• Juga ada peringatan bahwa ketika satu gatekeeper berbasis iklan mengendalikan akses informasi, pengambilan keputusan demokratis dan kemampuan belajar sosial dapat dirusak

Pendekatan dan keterbatasan Kagi

• Kagi adalah layanan pencarian berlangganan tanpa iklan yang menggabungkan berbagai sumber data untuk memberikan hasil berkualitas tinggi
• Dengan syarat FRAND (adil, wajar, dan non-diskriminatif), Kagi bernegosiasi dengan penyedia indeks utama dan menandatangani lisensi langsung dengan Mojeek, Brave, Yandex, Wikipedia, TripAdvisor, Yelp, Apple, Wolfram Alpha, dan lainnya
• Namun, negosiasi dengan Google dan Bing gagal
  • Bing melarang penyusunan ulang dan penggabungan hasil, lalu menghentikan Bing Search API pada Agustus 2025
  • Google tidak menyediakan API pencarian publik, dan hanya mengizinkan kemitraan dalam bentuk bundel iklan
• Karena itu, Kagi memperoleh hasil melalui penyedia SERP API pihak ketiga, tetapi ini hanyalah langkah sementara

Gugatan antimonopoli Google dan usulan perbaikan DOJ

• Dalam gugatan Departemen Kehakiman AS (DoJ) melawan Google yang dimulai pada 2020, pada Agustus 2024 pengadilan memutuskan bahwa Google melanggar Pasal 2 Sherman Act dengan mempertahankan monopoli
• Pada September 2025, DOJ mengumumkan langkah-langkah perbaikan berikut
  • Pembatasan kontrak eksklusif: melarang kontrak eksklusif terkait Search, Chrome, Assistant, dan Gemini
  • Berbagi data: menyediakan indeks pencarian dan data interaksi kepada pesaing
  • Larangan pengikatan iklan: akses ke hasil pencarian tidak boleh dikaitkan dengan penggunaan Google Ads
  • Akses data indeks: URL, metadata crawling, skor spam, dan lainnya harus disediakan pada tingkat biaya marjinal
  • Masa berlaku: efektif selama 6 tahun, dengan masa lisensi terjamin 5 tahun
• Kagi berharap bahwa jika langkah ini diterapkan, akses yang adil ke indeks akan menjadi mungkin

Pentingnya implementasi dan penegakan

• Pada Desember 2025, Google mengajukan gugatan scraping skala besar terhadap SerpApi
• Kagi menunjukkan bahwa ini adalah “masalah struktural yang muncul karena Google tidak menyediakan akses indeks yang sah”
• Di masa lalu, sebelum norma robots.txt mapan, Google bebas melakukan crawling web untuk membangun indeksnya; namun sekarang Google membatasi akses pihak ketiga dengan memanfaatkan posisi monopolinya sendiri
• Kagi tetap pada posisinya bahwa mereka “menginginkan lisensi langsung dan akses yang sah”, serta menekankan bahwa usulan perbaikan DOJ harus berujung pada jaminan hak akses yang nyata

Visi ekosistem pencarian berlapis

• Putusan DOJ tidak serta-merta menciptakan pasar yang sehat, tetapi meletakkan dasar bagi persaingan yang adil
• Kagi mengusulkan struktur pencarian tiga lapis
  • Tingkat 1: layanan pencarian publik (search.org) yang dijalankan pemerintah — akses informasi nirlaba tanpa iklan maupun perantara
  • Tingkat 2: pencarian gratis berbasis iklan — berfokus pada fungsi komersial
  • Tingkat 3: pencarian berlangganan berbayar — berfokus pada kualitas, privasi, dan fitur lanjutan (wilayah Kagi)
• Model ini memungkinkan akses informasi publik, kenyamanan komersial, dan persaingan kualitas premium untuk hidup berdampingan, dan selaras dengan tujuan Sherman Act

Kesimpulan

• Langkah DOJ adalah tahap pertama untuk mengubah infrastruktur monopoli yang tertutup menjadi infrastruktur publik yang terbuka
• Jika Google menyediakan akses indeks dengan syarat yang adil, persaingan inovasi di ekosistem pencarian dan AI akan dimungkinkan
• Kagi terus memperluas pencarian berbasis multi-sumber dan Small Web Index miliknya sendiri, sambil menyiapkan kerangka akses yang sah dan transparan
• Tujuannya adalah membangun “ekosistem pencarian yang memulihkan akses informasi sebagai barang publik”, yang diperkirakan akan mengarah pada pemulihan keberagaman AI dan pencarian selama 10 tahun ke depan

[GN⁺]

Komentar Hacker News

• Membangun ulang indeks pencarian Google adalah pekerjaan besar, seperti membangun jaringan rel nasional dari nol
  Ada dua hal yang saya penasaran. Pertama, kenapa perusahaan big tech lain tidak membuat indeks mereka sendiri untuk memecahkan monopoli Google. Jika disediakan sebagai barang publik seperti dataset untuk pelatihan LLM, ini bisa membawa perubahan segar pada UX secara keseluruhan. Kedua, DOJ sudah mengeluarkan pedoman terkait monopoli, jadi saya penasaran kenapa itu tidak bisa dipaksakan di tingkat negara bagian

  • Pada awalnya, Google membangun indeksnya dengan bebas merayapi seluruh web sebelum robots.txt menjadi standar umum. Sekarang, dengan pangsa pasar 90%, mereka membatasi crawler lain. Artinya, aturan yang diterapkan Google sekarang adalah aturan yang dulu tidak mereka patuhi saat sedang tumbuh
  • Membuat indeks itu mudah, tetapi membuat ‘indeks baru’ sangatlah sulit. Pemeringkatan juga bukan sekadar BM25 sederhana. Untuk mengubah default Google dan kebiasaan pengguna yang telah terbentuk selama 25 tahun, diperlukan tindakan antimonopoli atau alternatif teknis
  • Scraping itu sendiri sulit, dan scraping berkualitas tinggi lebih sulit lagi. Sudah ada upaya membuat indeks publik, tetapi tidak ada yang benar-benar berhasil
  • Google sudah memiliki tingkat pengenalan merek sampai menjadi kata kerja, jadi persaingan nyaris mustahil
  • Apple, Microsoft, Meta, Amazon, dan lainnya tampaknya memiliki kesepakatan diam-diam untuk menyerahkan pasar iklan kepada Google sambil masing-masing menjaga wilayahnya sendiri. Iklan Google bekerja seperti pajak atas web, dan bahkan jika indeks publik muncul, struktur pendapatan pemilik situs kemungkinan tidak akan berubah. Google sangat memahami kenyataan ini

• Saya mendukung Kagi. Saya paham teknologinya, tetapi sebelumnya tidak terlalu tahu struktur internal industri pencarian, jadi transparansi mereka sangat mengesankan. Meski begitu, belum jelas apakah Google benar-benar akan mematuhi perintah perbaikan. Namun tetap ada sedikit harapan

  • Saya mendukung Kagi karena fitur blokirnya (block feature). Fitur itu bisa sepenuhnya menyaring situs berkualitas rendah yang penuh spam SEO

• Statistik dalam artikel sulit dipercaya. Sekitar 20% dunia berada di wilayah tempat Google diblokir, jadi klaim bahwa “90% dunia memakai Google” terasa berlebihan. Kemungkinan itu sebenarnya statistik yang berpusat pada AS

  • Jika melihat pangsa pasar mesin pencari di Wikipedia, Rusia adalah Yandex 70%, Tiongkok Baidu 59%, Korea Naver 59%, Jepang Google 76%, jadi variasi regionalnya besar
  • Pengguna di Tiongkok tidak bisa memilih Google, jadi tampaknya mereka dikecualikan dari statistik. Data StatCounter kurang representatif
  • Bagaimanapun, Kagi juga kemungkinan tidak bisa dipakai di Tiongkok
  • Sebagian besar negara yang memblokir Google adalah tempat yang secara etis sulit dimasuki perusahaan Barat. Hal yang sama kemungkinan berlaku untuk Kagi

• Menarik bahwa Kagi mengungkapkan mereka tidak bisa memakai API Google secara langsung, sehingga menggunakan API pihak ketiga seperti SerpAPI. Ironisnya, pelanggan mereka juga mencakup afiliasi Google seperti DeepMind. Namun pada akhirnya, kueri Kagi tetap bisa diteruskan ke Google, sehingga ada batasan pada kebijakan privasi

  • Ada yang menyebut bahwa karena Google tidak mengizinkannya, Kagi “mencuri lalu menjual kembali”
    • Namun memanfaatkan informasi yang tersedia publik di web adalah area abu-abu yang legal. Google juga awalnya merayapi web tanpa izin
    • Dari sudut pandang antimonopoli, indeks pencarian seharusnya dipandang sebagai infrastruktur publik. Argumennya, seperti jalur kereta atau jaringan telekomunikasi di masa lalu, ia perlu dipisahkan dan dibagikan
    • Dalam praktiknya, hanya crawler Google yang mendapat perlakuan istimewa, sehingga mesin pencari baru sulit bersaing
    • Ada juga pandangan sinis bahwa “tidak ada etika dalam menghasilkan uang”
    • Muncul pula pendapat, “bukankah fitur ringkasan AI Google pada akhirnya melakukan hal yang sama?”

• Di Eropa, ada proyek seperti Open Web Search Initiative dan Open Web Index. Sebanyak 14 lembaga riset ikut serta membangun infrastruktur indeks web terbuka, dengan tujuan menyediakan data terstruktur yang bisa dimanfaatkan mesin pencari dan LLM

• Dalam penjelasan paket harga Kagi, disebut “pencarian berbayar berbasis langganan”, tetapi ada yang menyoroti bahwa frasa “bebas iklan (ad-free)” tidak disebutkan

  • Ada yang mengatakan bahwa mencurigai Kagi hanya karena satu kata kecil seperti ini adalah mengaburkan pokok persoalan. Kemungkinan Kagi menampilkan iklan sangat kecil, dan bahkan jika suatu saat mereka melakukannya, bisa jadi lewat model seperti iklan pilihan pengguna
  • Ada juga yang menilai ini bukan masalah besar karena mereka memakai frasa “tidak menjual perhatian pengguna”
  • Dari sudut pandang pengguna berbayar, jika iklan muncul mereka akan langsung membatalkan langganan. Pengalaman pencarian tanpa iklan adalah nilai utamanya
  • Ada juga komentar bercanda seperti “berbayar, tanpa iklan, tanpa asbes” sambil memperingatkan agar tidak terlalu tenggelam dalam teori konspirasi. Mereka menambahkan humor dengan tautan xkcd 641

• Google telah mengajukan banding dan permohonan penundaan pelaksanaan atas perintah perbaikan dalam putusan ini. Dokumen terkait dipublikasikan di CourtListener. Saya penasaran apakah Kagi akan mengajukan amicus brief untuk mendukung pihak penggugat. Google juga mungkin akan mendanai organisasi yang bersahabat seperti saat banding Epic sebelumnya (artikel terkait)

• Saya sering mengatakan “meng-google”, padahal sebenarnya memakai Kagi atau DDG

  • Generikisasi merek (genericization) seperti ini secara hukum merugikan Google. Mirip dengan kasus ‘Aspirin’ yang kehilangan hak mereknya
  • Saya mencoba memakai ungkapan yang netral terhadap merek seperti “mencari di web”
  • Dalam bahasa Italia, “to google” berubah menjadi “googl-are”, tetapi kalau diganti Kagi menjadi “kag-are”, yang secara bahasa gaul berarti ‘buang air besar’, jadi terdengar lucu
  • Seperti “Xerox” atau “Kleenex”, Google sudah menjadi kata benda umum, tetapi tetap berada dalam kondisi monopoli de facto
  • Kebanyakan orang tidak tahu Kagi, jadi saya malas menjelaskannya

• Asisten AI Kagi memuaskan karena memberikan ringkasan yang berpusat pada sumber. Ia tidak meniru kepribadian seperti Claude atau ChatGPT, sehingga enak dipakai untuk riset. Respons berbasis sumber adalah kekuatan utamanya