Pemetaan Hacker News untuk Menemukan Siapa yang Tahu Apa di Komunitas HN

 (blog.wilsonl.in)
1 poin oleh GN⁺ 2024-07-27 | 1 komentar | Bagikan ke WhatsApp

40 million embeddings to find who knows what on Hacker News

Latar belakang proyek

  • Dalam postingan sebelumnya, 40 juta postingan dan komentar di Hacker News diubah menjadi embedding untuk membuat peta semantik komunitas
  • Ditemukan bahwa komunitas mendukung proyek ini, dan melalui berbagai usulan dari mereka, peta tersebut dengan cepat menyempit menjadi relasi nyata di seluruh dunia
  • Melalui percakapan dengan Robert, dibahas pekerjaannya membangun algoritme makna sosial pada 2008
  • Mengejutkan bahwa bahkan setelah 16 tahun, jejaring sosial seperti Hacker News masih belum menghitung dan menampilkan suara-suara tepercaya untuk tiap topik

Pertanyaan utama

  • Mengapa sulit menemukan dan menelusuri orang-orang yang paling paham tentang topik tertentu?
  • Bagaimana cakupan pengetahuan mereka dan hubungan mereka dengan orang-orang yang memiliki pemikiran serupa?

Fitur baru aplikasi

  • Melalui aplikasi baru, peta semantik Hacker News dapat dijelajahi dan diinteraksikan (hn2.wilsonl.in)

Hal-hal menarik yang ditemukan

  • Pengorganisasian semantik pengguna: Menunjukkan kontribusi HN secara semantik, dimulai dari pengguna lalu bersama pengguna lain yang serupa
    • Contoh: lihat profil baru robg
  • Pencarian semantik: Dapat menelusuri makna di HN berdasarkan siapa yang tahu apa
    • Contoh kueri: startup, pemrograman Go vs Rust, neurosains dan tidur, pemasaran email
  • Pemetaan komunitas: Dapat memetakan komunitas berdasarkan makna yang terkait dengan siapa yang tahu apa
    • Karena pengetahuan tidak tersebar merata, topografi komunitas dapat digunakan untuk menyoroti orang-orang dan hal-hal yang mereka ketahui

Potensi teknologi

  • Dengan menggabungkan tiga fungsi—mengorganisasi makna, menelusuri, dan memetakan komunitas—kita bisa melihat orang-orang di balik kata-kata
  • Alih-alih mengorganisasi informasi dunia, kita bisa mengorganisasi orang-orang di dunia
  • Ini mendorong pemikiran tentang berbagai tantangan pengetahuan sosial
  • Siapa pun yang ingin ikut menjelajah seiring proyek ini makin berkembang dianjurkan untuk bergabung ke daftar tunggu

Ringkasan GN⁺

  • Proyek ini menawarkan cara untuk menemukan dan menelusuri para ahli pada topik tertentu melalui peta semantik komunitas Hacker News
  • Kontribusi pengguna dianalisis secara semantik untuk memvisualisasikan hubungan mereka dengan pengguna serupa
  • Fitur pencarian memudahkan menemukan orang-orang yang memiliki pengetahuan tentang topik tertentu
  • Topografi komunitas menyoroti orang-orang dan hal-hal yang mereka ketahui
  • Proyek ini menawarkan cara baru untuk menghubungkan orang dan berbagi pengetahuan

Bacaan terkait

1 komentar

 
GN⁺ 2024-07-27
Opini Hacker News

  • Secara pribadi, saya suka bahwa HN berfokus pada konten dan diskusi, bukan pada pengguna individu. Kalau ingin mengikuti para pakar, mungkin saya akan membuat daftar sendiri di jejaring sosial seperti Mastodon atau merangkai feed RSS secara paksa
    Alat ini tampaknya lebih baik memilih pemberi komentar yang aktif daripada pakar berpengetahuan, dan ada juga masalah akun sekali pakai. Meski begitu, ini proyek yang keren

    • Secara pribadi, saya tidak membaca nama pengguna. Itu cara termudah untuk fokus pada komentar, dan tidak adanya hal seperti avatar atau tanda tangan juga sangat membantu
      Saya sama sekali tidak ingat pernah berdebat dengan siapa di HN, tetapi pasti pernah beberapa kali
    • Saya merasakan hal yang sama. Saya suka karena di sini tidak ada avatar dan semacamnya, sehingga menjadi berpusat pada isi
      Pada saat yang sama, saya juga menganggap proyek dari postingan asli ini luar biasa
    • Yang paling menarik mungkin justru ruang kosong. Karena kecenderungan dari sesuatu yang absen adalah yang paling sulit disadari. Apa saja titik buta yang dilewatkan Hacker News dengan cara yang bisa dikuantifikasi?
    • Mengurasi sendiri daftar pakar untuk diikuti butuh cukup banyak usaha. Akan bagus jika ada alat yang membantu itu
      Idealnya, tanpa daftar pakar tepercaya pun kita cukup melihat kontennya saja, tetapi dulu pernah ada masa ketika mengetik “database apa yang paling baik digunakan” di mesin pencari akan menghasilkan hasil yang berguna. Sekarang tidak lagi. HN mungkin masih lebih baik daripada tempat lain, tetapi pada akhirnya mengalami masalah yang serupa
    • Saya pikir lapisan sosial bisa dinaikkan satu tingkat agar kita dapat terhubung lebih dalam dengan orang-orang yang memiliki minat serupa
      Dengan begitu, yang dihitung bukan sekadar kontribusi, tetapi juga bagaimana kontribusi itu terhubung dengan orang lain

  • Di bagian bawah peta pada halaman https://hn2.wilsonl.in/user/simonw ada “Risk of COVID from pianos”. Saya benar-benar ingin tahu itu berasal dari mana

    • Sepertinya itu ringkasan komentar ini: https://news.ycombinator.com/item?id=30105274
      Jika Anda memperbesar lalu mengarahkan kursor merah ke posisi/teks tersebut di peta, komentar asli akan muncul di bawah peta
    • Mungkinkah justru ada risiko munculnya piano akibat COVID?
      Seperti ketika awal pandemi, penjualan gitar dan peralatan gym rumahan meningkat karena orang mencari hobi yang bisa dilakukan di rumah
    • Hasil saya terlihat cukup akurat. Muncul akselerasi RDP, firmware printer 3D, gesture Graffiti di layar sentuh, dan Linux mainline di SBC; semuanya memang hobi saya
      Saya hampir tidak pernah berkomentar tentang pekerjaan saya yang sebenarnya, yaitu arsitektur cloud dan jaringan, juga tentang AI yang bidangnya terlalu ramai. Anehnya, hampir tidak ada hal terkait Apple, yang sangat ironis jika mengingat blog saya. Jadi alat ini menunjukkan apa yang orang bahas di sini, tetapi belum tentu apa yang mereka ketahui
    • Saya penasaran apakah akan membantu jika titik-titiknya dibuat lebih interaktif

  • https://hn2.wilsonl.in/user/c0l0 — Tampaknya saya adalah pakar terdepan di bidang optimasi desain dudukan toilet. Tanya apa saja

    • Karena di sini ada otoritas desain tombol dual flush, sepertinya saya harus mundur dulu
    • Berdasarkan apa Anda menilai saya dikenal secara spesifik untuk apa?
      Halaman saya berisi sangat banyak item: https://hn2.wilsonl.in/user/AndrewKemendo
    • Hasil saya benar-benar kacau dan tidak masuk akal. Kalau dipikir-pikir, itu masuk akal juga. Saya juga begitu
      https://hn2.wilsonl.in/user/SketchySeaBeast
    • Itu belum seberapa. Saya terkenal di seluruh dunia untuk analisis perbandingan efisiensi perapian
      Saya bertanya-tanya apakah saat membuat embedding mereka memakai IDF sehingga memberi bobot yang terlalu besar pada kumpulan kata yang langka

  • Tulisan terkait baru-baru ini:
    Show HN: Menjelajahi HN dengan memetakan dan menganalisis 40 juta postingan dan komentar HN untuk bersenang-senang - https://news.ycombinator.com/item?id=40307519 - Mei 2024, 159 komentar

    • Menakjubkan bahwa HN mempertemukan Wilson dan saya melintasi 16 tahun waktu dan jarak di seluruh dunia
      Karena komunitas seperti HN, saya menaruh harapan pada masa depan kepercayaan di internet

  • Sepertinya alat ini mengambil email saya dari teks profil lalu menjadikannya tautan mailto:, dan saya akui menurut standar LLM masa kini email itu memang tidak cukup disamarkan
    Tapi itu berarti membuat pengumpulan jadi lebih mudah, jadi rasanya saya harus berterima kasih atas nama para spammer bermodal usaha rendah

    • Saya penasaran apakah bot spam bermodal usaha rendah yang mengeruk tautan mailto: masih benar-benar ada, atau apakah kita terus melakukan obfuscation email seperti cargo cult
      Spam sudah sangat berubah sejak masa itu; apakah strategi ini masih dipakai?
    • LLM dasar pun sepertinya bisa membongkar upaya menyembunyikan email ala tahun 2000-an
      Misalnya obfuscation seperti teman saya yang menulis “firstname [cute arobase sign] domain.com” di halaman kontak blog populer
    • Biasanya saya tidak terlalu peduli pada hal seperti ini, tetapi yang ini tidak oke. Punya saya juga diperlakukan sama
      Apakah ada cara untuk opt-out dari fitur ini?
    • Dalam kasus saya, alat ini gagal melakukan decoding base64

  • Saya ingat sebuah alat yang pernah muncul di sini beberapa tahun lalu dan cukup kontroversial. Alat itu memakai analisis gaya tulis dan stylometry kuantitatif untuk menemukan “pengguna yang mirip”; jika memasukkan nama pengguna, alat itu akan menemukan akun alter yang mungkin milik orang yang sama.
    Katanya akurasinya sampai bikin merinding—setidaknya begitu yang saya dengar dari seorang teman yang punya akun alter. Apakah alat ini juga bisa dialihfungsikan untuk tujuan seperti itu? Rasanya “peta” yang dirender pada avatar tiap pengguna bisa dienkode sebagai vektor lalu dibandingkan dengan pengguna lain.
    Sunting: tunggu, saya baru sadar sepertinya memang sudah melakukan itu. Meski tidak langsung terlihat apakah “Explore More Users” diurutkan berdasarkan kemiripan

    • Kemungkinannya tidak terlalu bagus untuk menemukan akun alter dengan cara seperti itu. Orang biasanya memakai akun alter untuk ikut diskusi yang tidak ingin mereka kaitkan dengan akun utama.
      Topik yang diikuti akun alter—seperti pemberi kerja, politik, dan topik lainnya—kemungkinan besar berbeda. Sebaliknya, gaya tulis berhasil karena bahkan dengan usaha sekalipun, tidak banyak orang yang bisa mengubah gaya tulisnya secara mendasar
    • Mungkin yang ini: https://news.ycombinator.com/item?id=33755016
    • Beberapa tahun lalu saya membuat sistem yang melakukan hal seperti ini: https://x.com/austingwalters/status/1041894765439201281
      Ironisnya, baik saat itu maupun setelahnya saya hampir selalu memakai embedding, tetapi sistem ini tidak memakai embedding. Masalah utama embedding adalah ia tidak banyak berubah seiring waktu. Bisa disesuaikan, tetapi tidak semudah metode lain. Bahasa penuh dengan singkatan khusus industri, dan model umumnya lemah dalam beradaptasi dengan ungkapan serta singkatan yang berubah. Pada akhirnya saya merangkai beberapa hal lagi dan menjadikannya perusahaan: https://ipcopilot.ai
      Sekarang kami mencari ide di Hacker News untuk demo: https://m.youtube.com/watch?v=B5ymgh-ZDiI&pp=ygUKSXAgY29waWx...
    • Cara yang sedikit banyak merangkum pengguna sepertinya akan menarik.
      Misalnya, user123 cukup lucu, berbicara dengan runtut, tertarik pada TypeScript dan pengembangan web, serta punya skor tinggi untuk kehati-hatian dan ekstroversi
    • Menarik, tetapi saya juga merasa agak merinding. Saya ingin tahu bagaimana ini bisa dibuat lebih baik agar mengurangi kesan seperti itu

  • Nama pengguna saya diambil dari alter ego narator dalam 『Zen and the Art of Motorcycle Maintenance』. Ini terkait dengan bagian tentang pisau analisis.
    “Phædrus was a master with this knife, and used it with dexterity and a sense of power. With a single stroke of analytic thought he split the whole world into parts of his own choosing, split the parts and split the fragments of the parts, finer and finer and finer until he had reduced it to what he wanted it to be. Even the special use of the terms "classic" and "romantic" are examples of his knifemanship.”
    Entah nama yang membentuk takdir, atau saya memilih nama itu karena mengenal diri sendiri, atau mungkin saya memang terlalu sering memakai kata-kata ini, tetapi kata kunci saya mencakup “part, system, level, language, article, object”, dan semacamnya

  • Agak sulit benar-benar menggali dengan nama pengguna saya, dan selain menaburkan banyak titik di seluruh peta, sepertinya tidak banyak yang ditampilkan.
    Saya mencoba memahami apa saja cluster keseluruhannya, tetapi kebanyakan tampaknya hanya android/apple/google: https://hn2.wilsonl.in/user/mmastrac

    • Jadi, apakah itu berarti keahlian saya di Apple, Google, dan Tesla tidak terlalu unik?

  • Menarik. Saya pernah menyadari bahwa komentar saya yang paling banyak mendapat upvote adalah tentang pertanyaan hukum. Itu karena saya relatif lebih punya keahlian di bidang itu dibanding kebanyakan pengguna HN. Dulu saya pengacara.
    Menurut alat ini saya tidak termasuk penulis komentar teratas untuk law/legal/lawyer, tetapi saya jelas mengenali beberapa nama teratas dan ingat pernah melihat mereka di thread hukum. Alat yang cukup keren

    • Apakah HN API juga menyertakan skor komentar?

  • Hal terbaik dari HN adalah komentarnya terasa cukup sementara. Saya tidak suka dianalisis lalu dipamerkan ke publik tanpa persetujuan saya
    Memang tidak ada yang secara khusus menarik tentang saya di halaman itu, tetapi rasanya aneh. Tidak semua hal perlu dianalisis, dan tidak perlu bersaing di mana-mana. Maksud saya, saya suka karena fokusnya ada pada konten, bukan pada siapa yang mengatakannya. Setelah melihat ini, saya menghapus handle Twitter dari profil saya. Saya akan berterima kasih jika aplikasi itu juga memperbaruinya

    • Terkait pernyataan “komentarnya terasa cukup sementara”, saya memakai ekstensi Google Chrome yang menyala ketika halaman yang saya lihat memiliki komentar HN
      Ketika saya menemukan artikel blog secara alami lalu indikator itu menyala, saya sering membaca komentarnya meski artikelnya diposting bertahun-tahun lalu. Sering kali saya mendapat wawasan atau konteks yang berguna
    • Sebagai catatan bagi semua yang membaca ini, komentar adalah kebalikan total dari sesuatu yang sementara. Setelah periode awal yang sangat singkat, komentar tidak bisa dihapus atau diubah
      Jadi apa pun yang Anda katakan di sini bisa, dan memang mungkin, selamanya dikaitkan dengan Anda. Bisa secara langsung, atau dengan cara yang samar seperti yang ditunjukkan alat ini
    • Saya tahu perasaan itu. Saya juga merasakannya
      Namun saya kemudian sadar bahwa dari komentar mana pun, dua klik saja sudah membawa Anda ke kueri seperti ini: https://news.ycombinator.com/threads?id=RamblingCTO
    • Komentar di sini tidak pernah bersifat sementara
      Hacker News sendiri selama bertahun-tahun telah menyediakan API real-time yang nyaris gratis serta beberapa dataset besar, dan tujuannya adalah agar siapa pun dapat dengan mudah menganalisis komentar di sini: https://github.com/HackerNews/API
      Tidak ada komentar apa pun yang ditulis di internet yang pernah bersifat sementara. Bahkan sudah lebih dari 20 tahun lalu internet berhenti berpura-pura bahwa komentar itu sementara