Visualisasi Semua ISBN

 (annas-archive.org)
2 poin oleh GN⁺ 2025-01-11 | 1 komentar | Bagikan ke WhatsApp

  • Visualisasi ISBN

    • Anna's Archive menyediakan katalog buku terbuka terbesar dalam sejarah umat manusia.
    • Setiap piksel mewakili 2.500 ISBN, dan jika ada file yang tersedia, piksel tersebut ditampilkan dalam warna hijau.
    • Hanya 16% dari seluruh buku yang sudah dicadangkan, dan masih diperlukan lebih banyak pekerjaan.

  • Latar belakang

    • Anna's Archive menyusun katalog buku dengan memanfaatkan nomor ISBN untuk mencadangkan pengetahuan umat manusia.
    • ISBN diberikan kepada buku-buku yang diterbitkan di sebagian besar negara sejak tahun 1970-an.
    • Sistem ini beroperasi secara terdistribusi tanpa otoritas pusat, dengan nomor dialokasikan secara berurutan ke negara, penerbit besar, lalu penerbit kecil.
    • Anna's Archive memiliki metadata buku terbuka terbesar dengan melakukan scraping dari berbagai sumber metadata seperti ISBNdb, Worldcat, dan Google Books.
    • Penting untuk mengidentifikasi dan melestarikan buku-buku langka serta yang terancam hilang.

  • Visualisasi

    • Berbagai dataset dapat dilihat secara terpisah, dan bisa diganti menggunakan dropdown serta tombol.
    • Dataset tersebut mencakup Anna's Archive, Google Books, Goodreads, Internet Archive, dan lainnya.
    • Dalam visualisasi, dapat diamati pola seperti garis dan blok yang teratur, serta area kosong.

  • Hadiah $10.000

    • Tersedia hadiah untuk meningkatkan visualisasi, dan kode sumber terbuka harus dikirimkan paling lambat 31 Januari 2025.
    • Kiriman terbaik akan menerima $6.000, peringkat kedua $3.000, dan peringkat ketiga $1.000, dibayarkan dalam Monero (XMR).
    • Sebagian hadiah juga dapat diberikan meskipun tidak memenuhi ambang minimum.
    • Kiriman harus meningkatkan visualisasi dengan memodifikasi HTML, serta harus berfungsi dengan baik di desktop dan mobile.
    • Nilai tambahan diberikan berdasarkan kegunaan dan daya tarik visual.

  • Kode

    • Kode pembuat gambar dan contohnya tersedia di direktori tertentu.
    • Informasi ISBN disediakan menggunakan format data terkompresi berukuran 75MB.
    • Anda tidak harus menggunakan format ini untuk ikut serta dalam hadiah, tetapi ini adalah format yang paling praktis untuk memulai.
    • Semua kode harus disediakan sebagai open source.

Bacaan terkait

1 komentar

 
GN⁺ 2025-01-11
Komentar Hacker News

  • Melihat ada bounty di bagian bawah, berarti saya seperti membuang peluang saya sendiri untuk menang, tapi visualisasi ini tampaknya sangat cocok dipetakan ke kurva Hilbert [0]
    Jika data dibuat menjadi “garis-garis” seperti sekarang, titik-titik yang berdekatan dalam urutan bisa saja terpisah cukup jauh. Jarak turun satu langkah di sumbu Y melewati satu baris penuh data, sedangkan jarak di sumbu X berkorespondensi 1:1 dengan data asli
    Jika dipetakan ke kurva Hilbert, sumbu X dan Y sendiri menjadi tidak bermakna, tetapi titik-titik yang berdekatan dalam daftar terurut juga akan tampak dekat secara visual pada gambar keluaran
    Bagian pertama ISBN adalah negara, bagian kedua penerbit, bagian ketiga judul, dan di akhir ada checksum, jadi saya mungkin akan menghapus checksum lalu mengurutkan masing-masing sebagai angka besar tanpa tanda hubung
    Dengan begitu, area luas yang ditempati negara-negara penerbit besar akan tampak seperti “pulau”, dan di dalam pulau itu kode penerbit akan muncul sebagai titik-titik terang. Kalau area seperti ini juga diberi label, itu layak dapat poin bonus
    Dulu saya pernah membuat penerapan metode ini pada data cuaca untuk keperluan wawancara [1]. Data per musim terkumpul bersama, sehingga pola musiman terlihat sangat jelas
    [0] https://en.wikipedia.org/wiki/Hilbert_curve
    [1] https://graypegg.com/hilbert (kalau ingin menantang bounty dengan kode ini, bisa merujuk ke https://github.com/graypegg/hilbertcurveplayground. Kalau dipakai ulang, setidaknya saya berharap nama saya disebut, meski saya tidak bisa mencegahnya)

    • Ada juga kurva Gilbert, generalisasi kurva Hilbert untuk area persegi panjang yang bukan pangkat dua [0], dan ada demo online juga [1]
      [0] https://github.com/jakubcerveny/gilbert
      [1] https://jakubcerveny.github.io/gilbert/demo/
    • Saya penasaran sifat apa dari kurva Hilbert yang membuatnya lebih diinginkan dibanding, misalnya, pola ular. Dalam pola ular pun ISBN yang berdekatan akan menjadi tetangga dalam visualisasi
      Saya khawatir kurva Hilbert, yang sebenarnya hanya hasil dari struktur kurvanya, justru membuat hasilnya terlihat seperti pembagian “persegi” yang jelas pada data [0]. Dalam arti itu, visualisasi saat ini lebih berguna karena lokasi setiap negara mudah langsung diketahui
      [0] https://raw.githubusercontent.com/jakubcerveny/gilbert/maste...

  • Masalahnya ISBN tidak hierarkis. ISBN bisa dibeli dalam blok, atau bisa juga dibeli satuan dengan biaya tambahan yang tidak masuk akal. Saya bicara sebagai orang yang pernah membeli satu ISBN untuk menerbitkan ulang satu buku saja
    Jadi visualisasi ini tidak benar-benar menunjukkan sesuatu yang menarik atau berguna
    Visualisasi yang memakai Klasifikasi Library of Congress AS atau Klasifikasi Desimal Dewey rasanya akan jauh lebih berguna, apalagi jika ditautkan ke repositori dan daftar domain publik serta bebas hak cipta. Misalnya seperti membuat versi interaktif dan visual dari materi John Mark Ockerbloom
    https://onlinebooks.library.upenn.edu/

    • ISBN itu hierarkis. Saya tidak mengerti maksudnya. Seperti Galia, ISBN juga terbagi menjadi beberapa bagian; satu bagian untuk bahasa, bagian lain untuk penerbit, dan bagian terakhir untuk judul. Bagian paling akhir adalah checksum https://en.wikipedia.org/wiki/ISBN#Overview
    • Visualisasi ini menunjukkan apa yang ingin ditunjukkannya. Utamanya, seberapa banyak buku dunia yang mereka miliki. Itu tidak ada hubungannya dengan hierarki
    • Dari jumlah piksel hitam, terlihat juga bahwa ISBN dialokasikan jauh lebih cepat daripada laju penggunaan ISBN yang sebenarnya
      Gambarnya berukuran 1000×800 piksel dan tiap piksel mewakili 2500 ISBN, jadi memvisualisasikan 2 miliar ISBN. ISBN-13 terdiri dari 12 digit plus 1 digit cek, sehingga semestinya bisa diperkirakan gambar aslinya 500 kali lebih besar atau lebih padat daripada gambar saat ini
      Ukuran saat ini tampaknya berarti hanya ISBN dengan prefiks 978 dan 979 yang disertakan, dan karena separuh bagian bawah lebih jarang, kemungkinan itu adalah rentang 979 yang baru

  • Menurut penjelasannya, seharusnya saya bisa membedakan piksel merah dan hijau, tapi saya kira tidak terlihat karena buta warna. Saya hanya melihat merah dan hitam
    Namun meski memakai ekstensi browser koreksi buta warna, saya tetap tidak bisa membedakan lebih banyak warna. Saya penasaran apakah hanya saya, atau grafiknya yang aneh

    • Sebagai referensi, saya bukan buta warna, dan saya melihat piksel merah, hijau, dan hitam. Dilihat dengan mata telanjang, grafiknya tidak tampak aneh
      Gulir ke bawah untuk menemukan alat visualisasi interaktif, lalu ubah ke “Files in Anna's Archive [md5]”; posisi piksel hijau akan disorot abu-abu
    • Kalau Anda punya buta warna merah-hijau seperti saya, coba begini
      Klik kanan gambar dan pilih “Inspect”, lalu tambahkan filter CSS hue-rotate baru ke elemennya
      element { max-width: 100%; margin: 0 auto; filter: hue-rotate(-90deg); }
      Biasanya saya memakai filter: saturate(100);, tetapi tidak cocok untuk gambar ini. Sudut rotasinya mungkin perlu disesuaikan, dan bagi saya -90 derajat paling cocok
    • Grafiknya sendiri terlihat baik-baik saja, dan memang ada piksel merah serta sedikit piksel hijau. Sayangnya sepertinya masalahnya ada di ekstensi
    • Saya juga buta warna, dan grafik ini kurang bagus
    • Saya melihat titik-titik hijau dan beberapa baris titik hijau. Sudah coba diperbesar?

  • Anna's Archive adalah salah satu keajaiban dunia. Bahkan jika umat manusia hampir memusnahkan dirinya sendiri, selama Anna's Archive bertahan, akan ada harapan untuk rekonstruksi yang relatif cepat

    • Anda menyebut “rekonstruksi yang relatif cepat”, tapi kalau pemusnahan diri adalah prasyaratnya di sini, apakah itu benar-benar hal yang baik?

  • IP server tampaknya diblokir di UE. Di internet Ziggo di Belanda, pesan seperti ini muncul
    “Situs web ini telah diblokir
    Sanksi Eropa
    Dewan Eropa telah memutuskan bahwa situs web RT (sebelumnya Russia Today) dan Sputnik News tidak boleh lagi ditransmisikan. Situs web yang Anda coba akses termasuk dalam sanksi Eropa ini
    VodafoneZiggo wajib menerapkan sanksi tersebut, sehingga situs web ini diblokir”

    • Di Polandia terbuka dengan baik. Sebagai gantinya, bisa pakai tautan ini
      https://web.archive.org/web/20250106112552/https://annas-arc...
    • Pembaruan: masalah teratasi setelah mengubah pengaturan server DNS, sehingga server yang sudah saya operasikan sendiri tidak meneruskan ke ISP, melainkan memakai root DNS
    • Di Prancis tidak ada masalah
    • Mengoperasikan recursive resolver sendiri memang punya beberapa keuntungan
    • Di Finlandia tidak ada masalah

  • Apakah orang lain juga melihat pesan ini?
    “Server ini tidak dapat membuktikan bahwa dirinya adalah annas-archive.org. Sertifikat keamanannya diterbitkan untuk *.hs.llnwd.net. Ini mungkin disebabkan kesalahan konfigurasi atau penyerang yang mencegat koneksi”

    • Saya juga begitu. Saat melakukan kueri DNS untuk annas-archive.org dari internet EE di Inggris, alamat www.ukispcourtorders.co.uk yang dikembalikan, dan di sana juga muncul peringatan keamanan
      Situs mana pun, kalau peringatannya diabaikan dan tetap masuk, hasilnya error HTTP 400
      Menurut Wikipedia, www.ukispcourtorders.co.uk dulu adalah situs yang mencantumkan domain yang diblokir dan perintah pengadilan terkait
      https://en.wikipedia.org/wiki/List_of_websites_blocked_in_th...
    • Tidak, kedengarannya seperti koneksi di pihak sana terkena serangan man-in-the-middle. Namun domainnya sendiri tampak seperti CDN yang normal
    • Dari DNS ISP Finlandia, sertifikatnya tampak normal, diterbitkan oleh Google Trust Services
    • Saya juga sama

  • Di grafik ini cukup sulit memahami apa yang berkorespondensi dengan apa. Kalau ada yang menandai di mana Bookland, yaitu 978, mungkin akan lebih mudah menentukan orientasi

    • Membuat visualisasi yang lebih mudah dipahami adalah tujuan bounty yang diumumkan dalam artikel ini

  • Apakah ilegal mengunduh dan memakai file ISBN dari sana? Saya tidak paham apa masalahnya memiliki informasi seperti itu

    • Kalau itu halaman yang menautkan ke libgen dan sci-hub, sepertinya mereka tidak terlalu peduli soal hak cipta

  • Tertulis “setiap piksel mewakili 2.500 ISBN. Jika ada file untuk ISBN tersebut, piksel itu dibuat lebih hijau”, tetapi saya tidak mengerti maksud lebih hijau. Saya tidak melihat gradasi hijau
    Dan apakah piksel hitam bisa dianggap sebagai ISBN yang belum terdaftar?

    • Saya sarankan melakukan tes buta warna. Warna hijaunya sangat jelas, terutama terlihat di sekitar 40% dari bagian atas gambar keseluruhan
    • Kalau diperhatikan, memang ada beberapa piksel bernuansa cokelat dan piksel hijau gelap

  • Muncul pesan seperti ini
    “Sanksi Eropa
    Dewan Eropa telah memutuskan bahwa situs web RT (sebelumnya Russia Today) dan Sputnik News tidak boleh lagi ditransmisikan. Situs web yang Anda coba akses termasuk dalam sanksi Eropa ini”

    • Situs web ini disensor di tingkat DNS, tetapi sepertinya halaman error yang dipilih keliru
      Di Italia, gagal begitu saja dengan NS_ERROR_CONNECTION_REFUSED
    • Dari IP Eropa, di sini terbuka dengan baik
    • Cukup ganti DNS ke sesuatu seperti 1.1.1.1 (Cloudflare) atau 8.8.8.8 (Google)