Kagi Small Web

 (blog.kagi.com)
3 poin oleh GN⁺ 2023-09-08 | 1 komentar | Bagikan ke WhatsApp
  • Untuk kembali menonjolkan konten web pribadi yang tenggelam oleh iklan dan komersialisasi, Kagi mengintegrasikan Small Web ke pencarian, situs web, RSS, dan API
  • Small Web mengacu pada web nonkomersial yang dibuat individu demi ekspresi diri dan berbagi pengetahuan alih-alih keuntungan finansial, dan Kagi menyeleksi sekitar 6.000 situs web untuk mengumpulkan konten baru
  • Pencarian Kagi memanfaatkan indeks Teclis dan TinyGem sehingga bahkan untuk kata kunci umum seperti swiftui dan apple watch, tulisan blog pribadi juga ditampilkan bersama hasil lain
  • Situs web Kagi Small Web yang baru berjalan tanpa JavaScript, dan pengguna dapat meninggalkan “appreciate” pada postingan atau menulis catatan publik yang akan hilang sekitar satu minggu kemudian
  • Operator situs dapat berpartisipasi melalui daftar kurasi GitHub, situs umpan balik, dan Discord; RSS diperbarui setiap 5 jam dan API ditawarkan dengan harga 2 dolar per 1.000 kueri

Web yang dibidik Kagi Small Web

  • Kagi Small Web adalah inisiatif yang dimulai Kagi untuk membangun web yang lebih manusiawi
  • “Small Web” bukan istilah dengan satu definisi tunggal, tetapi umumnya merujuk pada web nonkomersial yang dibuat untuk ekspresi diri pribadi atau berbagi pengetahuan, bukan demi keuntungan finansial
  • Konsep ini terhubung dengan nuansa web awal yang kurang terkomersialisasi, sebelum model bisnis berbasis iklan menguasai internet
  • Sebagai bahan untuk memahami lebih dalam, diperkenalkan tulisan Ben Hoyt, The Small Web is Beautiful, dan repositori GitHub juga menautkan daftar tulisan terkait

Cara mengumpulkan dan menampilkan konten

  • Kagi Small Web mengumpulkan tulisan yang diunggah dalam satu minggu terakhir dari daftar blog yang dikurasi langsung, lalu menampilkannya melalui beberapa jalur
  • Anggota Kagi yang sudah ada tidak perlu mengatur apa pun secara terpisah untuk melihat konten Small Web di hasil pencarian
  • Eksperimen ini terinspirasi dari diskusi di Hacker News, dan dimulai pada akhir Juli dengan cara menampilkan tulisan blog pengguna HN dalam hasil pencarian
  • Saat ini daftar kurasi mencakup sekitar 6.000 situs web nyata yang dijalankan oleh orang-orang dengan minat yang beragam
  • Seluruh inisiatif dan daftar situs web yang dikurasi dipublikasikan di Kagi GitHub

Web pribadi yang masuk ke dalam hasil pencarian

  • Kagi sebelumnya sudah menampilkan konten Small Web melalui indeks pencarian internal Teclis dan TinyGem
  • Dengan integrasi kali ini, konten web berkualitas tinggi namun kurang dikenal tampil lebih langsung sebagai pembeda hasil pencarian Kagi
  • Contoh pencarian
  • Hasil seperti ini, tidak seperti hasil pencarian yang berpusat pada situs besar, membantu menemukan sudut pandang yang lebih beragam bahkan untuk topik yang sama

Situs web Kagi Small Web

  • Situs web Kagi Small Web adalah platform baru untuk menonjolkan konten Small Web terbaru yang mudah terlewat di mesin pencari yang ada
  • Situs ini beroperasi tanpa JavaScript agar selaras dengan semangat Small Web
  • Pengguna dapat memberikan “appreciate” pada postingan atau meninggalkan catatan publik sementara
    • Catatan akan hilang sekitar satu minggu kemudian seiring konten baru terus bergulir
    • Desain ini menekankan sifat Small Web yang sementara dan tidak sempurna
  • Saat dirilis lebih awal kepada sebagian beta tester di kanal Discord, seorang pengguna melihat blognya masuk ke feed kurasi dan menjadi ingin lebih banyak menulis

Kriteria kurasi dan syarat publikasi

  • Untuk masuk ke feed kurasi, kriteria berikut harus dipenuhi
    • Blog harus memiliki postingan yang berusia setidaknya 3 tahun
    • Konten harus berbahasa Inggris
    • Situs harus menawarkan ekspresi diri yang autentik atau nilai informasi yang tinggi
    • Konten NSFW dikecualikan
  • Agar sebuah postingan muncul di situs web Kagi Small Web, ada syarat tambahan
    • Postingan harus ditulis dalam 7 hari terakhir
    • Situs harus kompatibel dengan penyematan iframe
    • Situs yang tidak kompatibel dengan iframe tetap dapat terus diindeks untuk hasil pencarian
  • Kode situs web juga dipublikasikan sebagai open source, dan menerima pull request

Eksperimen Small YouTube

  • Kagi juga menyediakan fitur eksperimental Small YouTube
  • Fitur ini menampilkan konten dari kreator YouTube yang sedang naik daun dengan kurang dari 400 ribu pelanggan
  • Kagi sedang menerima umpan balik mengenai kriteria ini

RSS, API, dan jalur partisipasi

  • Feed RSS dari Kagi Small Web menyediakan pembaruan waktu nyata dan diperbarui setiap 5 jam
  • Pengguna API dapat mengakses berita berkualitas tinggi yang tidak arus utama melalui indeks TinyGem yang telah mengintegrasikan Kagi Small Web
    • Harganya 2 dolar per 1.000 kueri
  • Jika ada situs yang terlewat atau contoh penyertaan yang tidak tepat, Anda dapat berkontribusi ke daftar kurasi sesuai panduan
  • Laporan bug dan usulan fitur diajukan di kagifeedback.org dengan tag small-web
  • Diskusi umum dilakukan di Kagi Discord

Premis yang diambil proyek ini

  • Jika web dibuat oleh begitu banyak orang, titik awal inisiatif ini adalah mempertanyakan mengapa mereka tersamarkan di mesin pencari tradisional dan bagaimana cara memperbaikinya
  • Karena konten yang dirayapi bisa mencakup apa saja, Kagi menilai bahwa proses merekomendasikannya memerlukan pilihan yang mempertaruhkan reputasi
  • Orang-orang yang berkontribusi pada Small Web tetap mencurahkan waktu dan usaha untuk berkarya meski tidak ada jaminan audiens
  • Tujuan Kagi adalah menghidupkan kembali web yang lebih manusiawi dengan banyak kreativitas, ekspresi diri, dan konten yang bermakna

Bacaan terkait

1 komentar

 
GN⁺ 2023-09-08
Komentar Hacker News

  • Saya Vlad dari Kagi. Begitu tulisan blog dipublikasikan, feed RSS tiba-tiba rusak, dan rasanya benar-benar seperti semangat small web :) Sekarang feed sudah dipulihkan, dan karena situs juga memakai feed yang sama, semuanya kembali berjalan
    Ini proyek yang saya kerjakan dengan penuh kecintaan secara pribadi, dan karena tim sedang sibuk dengan hal lain, saya sendiri cukup banyak turun langsung ke kode. Maksud dari “feed-nya rusak” sebenarnya adalah saya yang merusaknya. Bagi developer gaya lama, perangkat lunak itu pekerjaan yang berantakan, dan dengan terus kembali memperbaiki sesuatu yang tadinya saya kira sudah cukup baik, saya juga belajar bahwa saya bukan lagi coder yang bagus. Kodenya bisa dilihat di repositori yang ditautkan: https://github.com/kagisearch/smallweb
    Yang terpenting, situs ini menggantikan kebutuhan untuk menemukan bagi saya, dan rasanya menyenangkan bisa mengenal berbagai orang dan tulisan. Banyak hal tak terduga muncul, dan web terasa dekat lagi. Ada secercah harapan dalam konsep ini, dan peningkatan kualitas serta keragaman pencarian juga benar-benar ada
    Daftar situs web yang disertakan bisa dilihat di sini: https://github.com/kagisearch/smallweb/blob/main/smallyt.txt
    Tulisan-tulisan terbaru juga sudah muncul di hasil pencarian Kagi untuk kueri terkait: https://kagi.com/smallweb

    • Senang sekali fitur ini dirilis. Memberi lebih banyak visibilitas pada web indie/kecil adalah hal yang bagus. Dulu saya juga pernah mengeluh di HN bahwa blog pribadi yang berguna terkubur di bawah konten spam dari mesin pencari
      Ke depannya saya berharap bisa mencari hanya di dalam small web, dan mungkin nanti bisa disediakan sebagai lens
      Soal aturan promosi diri, saya tidak setuju dengan kebijakan saat ini. Kalau blognya sudah lama, bahkan jika kriterianya diturunkan menjadi sekitar 1 tahun, akan bagus bila orang bisa mengajukannya sendiri. Sebagian besar web kecil/indie kekurangan eksposur, jadi ini akan membantu. Blog saya tampaknya sudah ada di indeks karena dikumpulkan dari tulisan lama “bagikan blog Anda di HN”, tetapi orang lain mungkin tidak seberuntung itu
    • Semakin saya memakai Kagi berbayar, semakin sedih rasanya memikirkan kemungkinan layanan ini bisa hilang kalau tidak mendapat lebih banyak pengguna
      Bagi saya, Kagi adalah pencapaian luar biasa. Ini mesin pencari pertama yang memberi hasil lebih baik daripada Google, menghormati privasi, serta menawarkan personalisasi dan lebih banyak fitur
    • Saya pelanggan berbayar, dan ini lagi-lagi tambahan fitur yang bagus. Hal seperti ini hanya bisa dilakukan Kagi. Saya berharap mereka terus mengerjakan hal semacam ini
    • Bukankah ini lebih mungkin terinspirasi oleh Marginalia daripada thread blog pribadi? Pada contoh Apple Watch hasilnya memang tidak sama, tetapi begitu membaca judul tulisannya, itu langsung terlintas di pikiran saya
      Ini https://search.marginalia.nu, dan juga sering disebut di HN: https://hn.algolia.com/?query=marginalia
    • Upaya yang bagus. Hasilnya juga terlihat keren, dan kalau diintegrasikan ke hasil pencarian utama, sepertinya bisa memberi sekilas pandang ke luar web raksasa
      Saya pelanggan Kagi dan sangat puas. Mesin pencarinya luar biasa bagus, dan fitur ini membuat saya semakin yakin dengan pilihan mesin pencari saya

  • Kalimat “Catatan-catatan ini akan diganti dengan konten baru dan menghilang sekitar satu minggu kemudian. Ini menekankan sifat small web yang fana dan tidak sempurna.” — sebenarnya cukup akui saja bahwa Kagi tidak ingin menyesuaikan atau menyimpan catatan secara permanen. Tidak perlu merendahkan small web. Banyak situs kecil menyimpan kontennya dengan baik
    Kagi mungkin punya data tentang seberapa sering situs turun, tetapi berdasarkan pengalaman saya, konten di platform besar juga sering menghilang, bahkan ketika pembuatnya tidak sekadar lupa. Situs web small web yang dibuat oleh kreator yang peduli justru punya peluang bertahan jauh lebih lama

    • Catatan-catatan itu ditampilkan di mana?
      Akan bagus kalau Kagi Small Web punya antarmuka ActivityPub, sehingga situs dengan penilaian tertinggi dalam sehari bisa ditambahkan ke linimasa Mastodon atau Lemmy
    • Kalimat yang menarik. Sebagian besar situs pribadi benar-benar berusaha keras agar tautan berusia 10 atau 20 tahun tidak rusak :P

  • Kagi benar-benar sepadan dengan harganya. Saya sudah memakainya sebagai mesin pencari utama selama 6 bulan, dan selama periode itu rasanya saya hanya memakai Google !g sekitar 10 kali

    • Bisa memblokir situs sampah SEO seperti GeeksForGeeks, dan fakta bahwa 3–5 hasil teratas tidak dipenuhi iklan saja sudah cukup membuatnya bernilai. Saya juga suka bisa menaikkan peringkat hasil dari situs tertentu pada tingkat personalisasi
      Namun saya cukup sering memakai pencarian, dan juga sering mencari karena tidak sengaja, jadi agak disayangkan saya kerap melewati kuota pencarian paket “Pro” setiap bulan. Meski begitu, untungnya ada opsi membeli pencarian tambahan tanpa harus naik ke paket unlimited yang cukup mahal
    • Setelah terbiasa dengan Kagi, melakukan pencarian Google di komputer orang lain terasa benar-benar aneh. Baru-baru ini saya meminta sebuah perbaikan kegunaan kecil, dan itu diimplementasikan dalam beberapa minggu. Hampir tidak mungkin hal seperti itu terjadi di mesin pencari lain
      Hasil pencariannya konsisten lebih baik dibanding tempat lain, termasuk DuckDuckGo, jadi saya akan tetap menjadi pelanggan berbayar yang puas ke depannya
    • Setuju. Saya sudah sedikit lebih dari setahun memakainya berbayar dengan puas, dan sebelumnya juga memakai versi beta
      Rasanya agak mirip ketika pertama kali menemukan Google pada masa AltaVista masih ada
    • Saya pengguna lain yang sangat puas dengan Kagi. Sangat layak dibayar, dan ini contoh bagus tentang layanan seperti apa yang bisa terwujud jika kita bersedia membayar sedikit
    • Untuk menambahkan sudut pandang yang sedikit kurang positif, saya mencoba Kagi selama beberapa minggu dan menyukai fitur serta model bisnisnya, tetapi hasil pencariannya tidak lebih baik daripada instans Searx saya. Pada dasarnya Kagi, mirip Searx, melakukan panggilan API anonim ke mesin pencari pihak ketiga, lalu membungkusnya dengan UI yang lebih ramah, dan pengalamannya juga tidak terlalu berbeda
      Selain itu, Searx mendukung jauh lebih banyak mesin pencari dan bisa saya konfigurasi persis sesuai keinginan
      Jelas Kagi punya niat baik dan produk yang baik, jadi saya berharap mereka sukses, tetapi saya lebih memilih solusi self-hosted open source yang setara, meski kurang rapi dan fiturnya lebih sedikit, daripada SaaS proprietari yang mengharuskan membuat akun
      Edit: sebenarnya saya keliru. Kagi juga punya crawler dan indeks sendiri: https://help.kagi.com/kagi/search-details/search-sources.html Namun saya tidak merasa hasil Searx kurang, jadi rasanya tidak banyak yang terlewat
      Yang saya khawatirkan pada Searx, dan sebagian juga Kagi, adalah pihak ketiga kapan saja bisa memblokir permintaan API semacam ini; jika itu terjadi, Searx tidak bisa dipakai dan relevansi hasil Kagi juga bisa menurun. Saya tidak tahu apakah pendekatan ini berkelanjutan untuk membangun mesin pencari, tetapi saya sangat menghargai sikap Kagi dan Searx terhadap iklan. Menggunakan mesin pencari arus utama lewat frontend sendiri adalah pengalaman yang, sebaik apa pun dilihat, tetap membuat frustrasi

  • Hal seperti ini membuat saya sangat senang menjadi pelanggan Kagi. Bukan hanya saya mendapatkan nilai dari Kagi, tetapi ini menunjukkan bahwa uang yang saya bayarkan dipakai untuk mengembangkan Kagi ke arah yang saya setujui
    Sebagai perbandingan, Spotify hanyalah salah satu langganan yang saya pakai, tetapi terasa bermusuhan. Saya membayar, tetapi kalau merasa ada alternatif, saya akan langsung membatalkannya
    Saya benar-benar menghargai bahwa apa yang saya rasa saya beli selaras dengan arah pengembangan Kagi

    • Streaming musik benar-benar berantakan. Saya sudah banyak mencoba mencari layanan yang layak, tetapi semuanya punya masalah yang memalukan
      Spotify benar-benar bermusuhan, manipulatif, dan mengerikan bagi artis. Dari sisi saya, layar berandanya terlalu komersial, dan antarmuka CarPlay-nya terus terang bencana yang sangat tidak ramah pengguna sampai terasa tidak aman
      TIDAL cukup bagus dalam banyak hal. Pembayarannya ke artis juga baik dan rekomendasinya lumayan. Namun ada bug konyol yang sudah bertahun-tahun ada di aplikasinya; yang paling menyebalkan adalah saat mengacak playlist, antarmukanya hanya mengacak belasan lagu yang sudah di-cache lebih dulu di bagian atas. Kalau mencoba mengacak seluruh library, yang terdengar terus-menerus hanya belasan lagu yang sama
      Saya ingin menyukai Deezer, tetapi aplikasinya kurang bagus, dan lagu yang tidak tersedia juga lebih banyak daripada dugaan saya
      Akhirnya saya menetap di Apple Music. Karena saya memakai iPhone, integrasinya terasa alami, dan antarmuka CarPlay-nya juga sangat bagus. Pembayaran ke artis juga hampir mendekati TIDAL. Rekomendasinya cukup baik, dan layar berandanya tidak terlalu terasa seperti terus mendorong apa pun yang dibayar biaya promosinya oleh label besar. Aplikasi Windows-nya buruk sekali, dan tidak ada aplikasi Linux, tetapi untungnya ada aplikasi open source yang cukup bagus bernama Cider yang menyelesaikan masalah itu

  • Tampaknya MathML dihapus dari feed RSS; apakah itu disengaja, atau apakah kalian memakai alat pembersih lama yang tidak mengenalinya? Misalnya, artikel terbaru https://www.jefftk.com/p/weekly-incidence-vs-cumulative-infections di feed RSS saya https://www.jefftk.com/news.rss berisi ini
    <math display="block">
    <msup><mi>e</mi>
    <mrow><mi>k</mi><mi>t</mi></mrow></msup>
    </math>
    Namun di feed RSS Kagi https://kagi.com/api/v1/smallweb/feed, itu terlihat sebagai e dan kt
    Edit: saya sudah mendaftarkan isu: https://github.com/kagisearch/smallweb/issues/10

  • Ada beberapa pertanyaan.
    Pertama, saya penasaran apa dasar untuk memprioritaskan pembaruan blog terbaru. Dalam pengalaman saya, pembaruan terbaru biasanya paling lemah sebagai hasil pencarian, lebih rentan terhadap perubahan atau tautan rusak, dan secara umum kualitasnya cenderung lebih rendah. Saya juga bertanya-tanya apakah mendorong konten terbaru tidak akan menciptakan insentif untuk membanjiri dengan tulisan berkualitas rendah demi meningkatkan peluang masuk daftar.
    Kedua, ketika sedikit berkecimpung di area ini, arahnya hampir selalu condong secara nyaris tidak masuk akal ke blog teknologi/programmer. Memang ada tumpang tindih kuat antara kelompok yang memiliki blog dan kelompok dengan minat programmer, tetapi jika minat lain lebih terwakili, sepertinya ini akan lebih menarik juga bagi kelompok lain. Saya penasaran apakah kalian sudah memikirkan hal ini, dan jika ya, apa yang menurut kalian bisa dilakukan.

    • Hai Viktor!
      Untuk yang pertama, ada beberapa faktor. Untuk kata kunci pencarian yang sama, konten yang lebih baru sering kali lebih relevan, dan setidaknya kesegarannya membantu mencegah hasil menjadi sama sekali tidak relevan. Hal yang paling harus dihindari mesin pencari adalah hasil yang benar-benar tidak relevan. Kualitas sampai taraf tertentu sudah terjamin karena ini pada dasarnya adalah daftar yang dikurasi.
      Karena bergantung pada teknologi RSS feed, daftar ini relatif mudah dikumpulkan dan dipelihara, dan ada banyak sumber yang bisa dijadikan data awal.
      Berfokus pada tulisan terbaru bisa mendorong sebagian orang untuk lebih banyak menulis, seperti contoh yang ditekankan dalam posting blog. Web secara keseluruhan membutuhkan lebih banyak konten nonkomersial berkualitas tinggi, dan pada akhirnya itulah area yang ingin kami kontribusikan. Dengan menyediakan platform, sekecil apa pun, untuk mendorong perilaku semacam ini, kami selangkah lebih dekat ke web yang kami sukai.
      Untuk yang kedua, secara umum saya setuju. Namun untuk eksperimen ini kami berusaha membuat kumpulan situs web yang beragam, dan misalnya terlihat juga banyak situs terkait ekonomi atau fotografi. Pada akhirnya, lewat platform seperti Kagi atau Marginalia, kita hanya bisa mendorong agar lebih banyak konten dari berbagai bidang dibuat, dan berharap hasilnya berjalan baik.

  • Benar-benar keren! Selama 2 bulan terakhir saya pribadi sedang menjelajahi tautan small web. Awalnya dari posting HN “Ask HN: Bisakah kalian membagikan blog pribadi?” dan saya juga mengetahui bahwa seseorang membuat situs https://dm.hn/ yang merapikan tautan-tautan dari posting itu.
    Setelah mengekspor semua 1651 tautan blog ke XLS, sesekali saya membuka 5–7 tautan, membaca tulisan acak, lalu menandainya sebagai “sudah dilihat”. Sejauh ini saya sudah melihat 250 dari 1651 tautan.
    Akan bagus jika Kagi juga punya fitur serupa untuk melihat tautan situs web pribadi yang dikumpulkan dari semua sumber di satu tempat.

  • Terima kasih sudah memberi tautan yang menonjol ke tulisan saya “The Small Web is Beautiful”. Saya menganggap tulisan itu sebagai manifesto perangkat lunak pribadi saya, jadi senang melihatnya dipromosikan lebih luas.
    Saya benar-benar menyukai apa yang dilakukan Kagi Small Web. Saya suka inisiatif untuk mulai mengangkat konten hebat seperti ini ke permukaan. Semoga terus berlanjut dengan baik. Saya juga berniat mencoba pencarian Kagi.

    • Ben, terima kasih sudah menulis tulisan itu. Benar-benar menginspirasi. Semoga kamu juga menyukai pengalaman menggunakan Kagi.

  • Vlad, keren! Sulit mengetahui seberapa besar manfaatnya bagi pengguna atau perusahaan secara nyata, tetapi mengetahui hal seperti ini masih terjadi di internet modern membuat hati terasa hangat.

    • Terima kasih. Ini salah satu hal yang memang ingin saya lakukan, dan untuk ini saya menulis sendiri 100% kode dari awal hingga akhir, yang memakan sebagian besar waktu selama hampir sebulan. Bisa dibilang itu bukan penggunaan terbaik waktu seorang CEO, tetapi menyenangkan dan terasa seperti hal yang benar untuk dilakukan.

  • Saya ingin menambahkan situs web saya ke daftar, tetapi karena robots.txt memblokir semua crawler, sepertinya pengajuan langsung tidak diizinkan. Apakah ada cara agar tetap bisa ditambahkan?
    Saya tidak keberatan masuk dalam hasil pencarian Kagi, tetapi saya tidak ingin di-scrape oleh Google, ChatGPT, dan gerombolan berikutnya, jadi saya memblokir semuanya dengan cara paling mudah.