Marginalia, mesin pencari yang memprioritaskan konten nonkomersial

 (marginalia-search.com)
4 poin oleh GN⁺ 2025-01-28 | 1 komentar | Bagikan ke WhatsApp
  • Marginalia Search adalah mesin pencari yang berfokus menjelajahi web yang kurang dioptimalkan secara komersial, serta menemukan kembali situs web lama yang terlupakan
  • Selain pencarian, layanan ini menyediakan jalur untuk penjelajahan dan penemuan situs, dan versi sebelumnya tetap tersedia di old-search.marginalia.nu
  • Proyek ini dirilis sebagai open source, dengan menonjolkan indeks dan crawler sendiri serta susunan teknologi sederhana tanpa AI
  • Kode sumber dirilis dengan lisensi AGPL, dan materi proyek serta akses komunitas tersedia melalui repositori Git dan Project Discord
  • Mematuhi GDPR dengan cara tidak mengumpulkan informasi pribadi, serta mengoperasikan penggunaan cookie dan penyimpanan log IP secara terbatas

Mesin pencari yang berfokus pada penjelajahan web nonkomersial

  • Marginalia Search adalah mesin pencari yang memprioritaskan konten nonkomersial
  • Menekankan kemampuan menemukan situs web lama yang terlupakan, serta menyediakan alat untuk pencarian dan penemuan
  • Versi sebelumnya tetap dapat digunakan di old-search.marginalia.nu

Proyek open source dan kanal operasional

  • Proyek ini dirilis sebagai open source
    • Menggunakan indeks dan perangkat lunak crawler sendiri
    • Menonjolkan susunan teknologi sederhana yang tidak menggunakan AI
    • Lisensinya adalah AGPL
  • Tautan terkait

Perlindungan privasi dan kebijakan log

  • Pada dasarnya berorientasi pada perlindungan privasi
    • Menyaring pelacakan
    • Tidak membagikan data kepada pihak ketiga
    • Tidak menyimpan IP dalam jangka panjang
  • Situs web mematuhi GDPR dengan cara tidak mengumpulkan informasi pribadi
  • Cookie tidak digunakan untuk tujuan selain menyediakan fungsi layanan, sehingga mematuhi EU Cookie Directive
  • Log akses yang berisi alamat IP disimpan maksimal 24 jam
  • Log anonim yang alamat asalnya telah dihapus dapat disimpan lebih lama untuk membantu diagnosis bug
  • Kontak: contact@marginalia-search.com
  • Informasi lokasi IP menggunakan data IP2Location LITE, dengan lisensi CC-BY-SA 4.0

Bacaan terkait

1 komentar

 
GN⁺ 2025-01-28
Opini Hacker News

  • Saya baru-baru ini menulis esai tentang mesin pencari ini dan algoritma pemeringkatannya
    Marginalia awal menggunakan Personalized PageRank, variasi PageRank menarik yang dibahas dalam makalah aslinya, dan menurut saya peringkat halaman saat ini ditentukan dengan BM25
    Personalized PageRank tampaknya juga masih dipakai dalam fitur baru Marginalia untuk pemeringkatan halaman berbasis kemiripan, dan sepertinya sudah terintegrasi ke situs, meski dulu hanya ada halaman uji (https://explore2.marginalia.nu/)
    Bagaimanapun, saya sangat menghormati pembuatnya, dan menarik membaca bagaimana Marginalia berkembang pesat serta tulisan-tulisan blognya (https://www.marginalia.nu/log/)
    Tulisan terkait: https://www.marginalia.nu/log/26-personalized-pagerank/

    • Untuk peringkat domain, memang digunakan Personalized PageRank, tetapi pengaruhnya sangat lemah
      Utamanya memengaruhi urutan fisik hasil di dalam indeks, dan karena waktu eksekusi kueri dibatasi, efeknya sekadar membuat hasil yang berperingkat lebih tinggi ditemukan lebih dulu
      Explore2 dan alat penemuan situs web yang tertanam di mesin pencari menggunakan cosine similarity dari vektor tautan masuk
      Saya juga menulis artikel berjudul “Creepy Website Similarity” tentang teknik ini :-) https://www.marginalia.nu/log/69-creepy-website-similarity/
    • Esai terbarunya ada di mana?

  • Saya pembuatnya. Baru-baru ini saya memindahkan situs web dari search.marginalia.nu ke marginalia-search.com dan sedikit merapikan tampilannya
    Karena rasanya sudah bekerja terlalu baik untuk dibiarkan seperti subdomain aneh di blog saya
    Mesin pencarinya sendiri masih sama :-)

    • Belakangan ini di komunitas web kecil ada kekhawatiran soal crawling agresif dari OpenAI dan pihak-pihak serupa
      Seberapa sering Marginalia melakukan crawl ulang pada situs yang sudah terindeks?
    • Sepertinya tombol random di versi lama tidak lagi berfungsi. Apakah fitur itu dihapus?
    • Ada alasan tidak memakai nama domain yang lebih pendek? Yang Anda buat benar-benar luar biasa

  • Bagi yang belum terus mengikuti proyek ini, ini adalah proyek passion satu orang dan tujuannya bukan bersaing dengan Google/Bing/DDG
    Ini lebih seperti cara untuk menemukan hal-hal menarik di “web kecil”
    Ada baiknya mengingat hal ini saat mencobanya
    Sebagai catatan, saya bukan pembuatnya

    • Saya tidak tahu apakah ada yang berubah sejak itu, tetapi pada 2023 pembuatnya berhenti dari pekerjaannya untuk mengembangkan mesin pencari ini secara penuh waktu https://www.marginalia.nu/log/83_full_time/
      Memang benar ini proyek passion, tetapi bukan sekadar proyek sampingan
    • Benar. Namun di ceruk tertentu, misalnya Linux dan perangkat lunak open source, serta sejarah, Marginalia sering memberi hasil yang jauh lebih baik daripada Google atau DDG
      Mesin pencari arus utama tampaknya punya tahap yang membodohkan input, sehingga jika kita memasukkan istilah pencarian yang asing, mereka menganggapnya typo atau salah ingat lalu mengubahnya menjadi frasa yang tidak saya cari sebelum mengirimnya ke backend
      Mesin pencari arus utama juga tampak berusaha memprioritaskan media korporat dibanding konten yang asli dan berotoritas
      Pembuatnya terus mengatakan ini “untuk menemukan hal menarik di web kecil”, tetapi bagi saya ini bukan hanya menarik, melainkan benar-benar berguna
      Namun sejak pindah ke Kagi hampir 3 tahun lalu, saya tidak lagi perlu mempertahankan solusi memutar seperti mesin pencari khusus per topik
      Sebagai pengungkapan penuh, orang lain sering membantah bahwa hasil Google bagus atau hasil Kagi buruk, tetapi dalam kasus saya ada catatan lebih dari 10 tahun bahwa Google secara konsisten gagal bahkan untuk kueri sederhana; kalau Google cocok untuk Anda, bagus, tetapi bagi saya ia sudah tidak bekerja andal selama lebih dari 10 tahun dan saya sudah muak

  • Tidak ada hal baru yang khusus untuk ditambahkan, tetapi saya selalu senang setiap kali proyek ini muncul di HN
    Ini proyek yang menunjukkan dengan baik apa yang bisa dibuat dengan kesabaran dan kecintaan

    • Saya pernah berpikir ingin mencoba membuat sesuatu yang mirip suatu hari nanti, tetapi ini melebihi ekspektasi. Benar-benar dibuat dengan baik, dan saya ingin tahu kalau ada cara untuk berkontribusi

  • Saya terkejut karena sampai sekarang tampaknya belum ada pencarian bang Marginalia di DDG
    <https://duckduckgo.com/bangs?q=marginalia>
    Saya sudah mengajukannya sebagai usulan

  • Saya mencoba mencari ulang beberapa hal yang baru-baru ini saya cari di Google, misalnya “celery”, “Wardian case”, “ferry from Italy to Greece”, dan semuanya punya hasil pertama yang cukup masuk akal
    Saya berniat mencobanya

  • Ini adalah salah satu hal paling nyaman, berguna, dan sehat yang saya lihat di web setelah sekian lama
    Secara teknis juga terlihat sangat solid, dan pengalaman penggunaannya tanpa cela
    Terima kasih banyak telah membawa saya kembali ke masa kejayaan internet

  • Saya mencoba beberapa kata kunci yang relatif sederhana di bidang yang saya minati, misalnya “attention is all you need paper”, “sip rfc”, “klatt speech synthesizer”, “crafting interpreters book”, “Scott Alexander Substack”, tetapi hasil yang saya harapkan sebenarnya tidak muncul
    Marginalia cukup lumayan ketika ingin mempelajari sesuatu, tetapi tampaknya tidak cocok ketika ingin menemukan objek tertentu
    Jika ingin membaca pendapat orang tentang Substack Scott Alexander, hasilnya lumayan, tetapi tidak demikian jika ingin menemukan newsletter itu sendiri

    • Benar, kueri navigasional agak campur antara berhasil dan gagal
      Saya merasa Google sudah sangat bagus untuk bagian itu, jadi itu bukan prioritas besar
      Saya terutama memusatkan upaya pada hal yang tidak bisa dilakukan Google, yaitu menemukan konten buatan orang tentang suatu topik

  • Dari sudut pandang operator situs, saya terutama menyukai fitur yang mempublikasikan backlink yang ditemukan
    Berkat layanan ini, saya menemukan beberapa backlink yang sebelumnya tidak saya ketahui

    • Saya melihat backlink untuk situs web saya, tetapi cukup membingungkan karena ternyata tidak ada satu pun yang benar-benar menaut ke situs saya

  • Ini sudah banyak dibahas saat masih menggunakan domain lamanya, marginalia.nu
    Phrase matching in Marginalia Search - https://news.ycombinator.com/item?id=41696046 - September 2024, 24 komentar
    Marginalia: 3 Years - https://news.ycombinator.com/item?id=39501061 - Februari 2024, 44 komentar
    Interview with Viktor Lofgren from Marginalia Search - https://news.ycombinator.com/item?id=38470832 - November 2023, 21 komentar
    Moving Marginalia to a new server - https://news.ycombinator.com/item?id=37800753 - Oktober 2023, 39 komentar
    Marginalia.nu API - https://news.ycombinator.com/item?id=35871186 - Mei 2023, 22 komentar
    Marginalia: DIY search engine that focuses on non-commercial content - https://news.ycombinator.com/item?id=35611923 - April 2023, 193 komentar
    Marginalia Search has received an NLNet grant - https://news.ycombinator.com/item?id=34945541 - Februari 2023, 17 komentar
    A Theoretical Justification (2021) - https://news.ycombinator.com/item?id=32586273 - Agustus 2022, 22 komentar
    The Evolution of Marginalia's Crawling - https://news.ycombinator.com/item?id=32565052 - Agustus 2022, 22 komentar
    Marginalia Goes Open Source - https://news.ycombinator.com/item?id=31536626 - Mei 2022, 72 komentar
    Uncertain Future for Marginalia Search - https://news.ycombinator.com/item?id=31200319 - April 2022, 37 komentar
    Marginalia Search: 1 Year - https://news.ycombinator.com/item?id=30823481 - Maret 2022, 29 komentar
    Show HN: Marginalia – Exploration Mode - https://news.ycombinator.com/item?id=30047455 - Januari 2022, 53 komentar
    A search engine that favors text-heavy sites and punishes modern web design - https://news.ycombinator.com/item?id=28550764 - September 2021, 717 komentar
    https://news.ycombinator.com/user?id=marginalia_nu

    • Sangat bagus. Artikel paling pertama itu saya yang mengunggahnya
      Saya menyukai proyek ini, dan ingin mencoba proyek serupa dalam waktu dekat