1 poin oleh GN⁺ 2025-12-15 | 1 komentar | Bagikan ke WhatsApp
  • Proyek yang memulihkan postingan Li.st Anthony Bourdain yang hilang dari data perayapan web publik
  • Menelusuri dan memulihkan sisa HTML pada domain li.st dengan memanfaatkan Common Crawl dan Internet Archive
  • Menggunakan skrip Python commoncrawl_search.py untuk mengumpulkan dokumen HTML dari bucket S3 publik secara otomatis
  • Teks banyak postingan berhasil dipulihkan, tetapi sebagian besar file gambar hilang, dan hanya beberapa item yang tersimpan dalam bentuk HTML
  • Hasil pemulihan dibuka di repositori GitHub agar komunitas dapat ikut berpartisipasi dalam pemulihan dan pelestarian lebih lanjut

Ikhtisar proyek

  • Upaya memulihkan postingan Li.st Bourdain yang hilang dengan memanfaatkan data perayapan publik
    • Setelah melihat sebagian daftar sebelumnya dipublikasikan di situs GReg TeChnoLogY, penulis menelusuri kemungkinan pemulihan
    • Berdasarkan pengalaman di bidang keamanan dan crawling, hanya arsip data yang dapat diakses publik yang digunakan
  • Menelusuri indeks dokumen Common Crawl untuk mengumpulkan data pada jalur https://li.st/Bourdain*
    • Dijalankan di lingkungan Python 3.14.2 setelah memasang dependensi requirements.txt
    • Contoh perintah: python commoncrawl_search.py "https://li.st/Bourdain*"; --all --download
    Iklan

Proses pemulihan dan alat

  • commoncrawl_search.py mengirim permintaan indeks ke dataset tertentu dan mengunduh hasil yang cocok dari bucket S3 publik
    • Ukuran dokumen HTML kecil sehingga relatif mudah dipulihkan
  • Hasil pemulihan dirangkum dalam repositori GitHub (https://github.com/thecsw/bourdain)
    • Setiap file HTML mempertahankan tata letak asli, tetapi disusun ulang tanpa mengubah isi
    • Bukan hasil buatan AI, dan hanya sebagian kode yang ditulis dengan alat otomatisasi
Iklan

Postingan utama yang berhasil dipulihkan

  • things-i-no-longer-have-time-or-patience-for: daftar seperti ‘Cocaine’, ‘True Detective’, ‘Beer nerds’, dll.
  • nice-views: pemandangan perjalanan di Montana, Puerto Rico, Naxos, LA, Istanbul, dll.
  • if-i-were-trapped-on-a-desert-island-with-only-three-tv-series: termasuk ‘The Wire’, ‘Tinker, Tailor, Soldier, Spy’, dll.
  • objects-of-desire: koleksi pribadi seperti kacamata hitam vintage, alat trepanasi, gi BJJ, pisau Kramer, dll.
  • four-spy-novels-by-real-spies-and-one-not-by-a-spy: rekomendasi novel spionase dari penulis seperti Somerset Maugham dan Graham Greene
  • hotel-slut-that-s-me: daftar hotel dari berbagai belahan dunia beserta ungkapan afeksi personal
  • Banyak daftar terkait New York seperti some-new-york-sandwiches, great-dead-bars-of-new-york, guilty-pleasures, dll.
  • Sebagian besar postingan berhasil dipulihkan teksnya, tetapi semua file gambar hilang

Item yang tidak bisa dipulihkan

  • Hanya postingan David Bowie Related (14 Januari 2016) yang tidak ditemukan di Common Crawl

Makna proyek dan rencana ke depan

  • Pekerjaan pemulihan ini digambarkan sebagai upaya arkeologi digital yang membuktikan kemungkinan pelestarian konten web lama
  • Pemulihan gambar sulit dilakukan, tetapi pembangunan arsip teks berhasil
  • Siapa pun dapat berpartisipasi dalam pemulihan tambahan melalui repositori Git publik
  • Menunjukkan perlunya membangun arsip publik dan mencari cara pelestarian jangka panjang

1 komentar

 
GN⁺ 2025-12-15
Komentar Hacker News
  • Aku juga masuk ke rabbit hole yang sama dan melakukan hal yang persis sama minggu lalu
    Tautan ke upayaku
    Kalau memang terinspirasi dari itu, akan menyenangkan kalau disebutkan; kalau tidak, menarik juga melihat kita sampai pada ide yang sama secara independen

    • Oh, aku tidak tahu! Aku mulai setelah melihat postingan asli Greg, lalu dia memberi tahu bahwa ada seseorang yang kemudian memeriksa Common Crawl
      Bagaimanapun juga, aku sudah memperbarui git dan halaman web untuk secara eksplisit menyebut pekerjaanmu. Aku juga menautkan langsung ke situsmu, jadi beri tahu kalau itu tidak masalah
  • Sebagai tindak lanjut dari tulisan ini, aku berhasil memulihkan semua posting li.st Anthony Bourdain yang sebelumnya kukira sudah hilang seiring waktu
    Menurutku memang tidak ada orang lain yang seperti Tony

    • Hampir semuanya sudah dipulihkan, tetapi menurut artikelnya masih ada satu yang hilang — “David Bowie Related” (tertanggal 14 Januari 2016)
  • Aku sangat menyukai serinya, tetapi ketika dia mengunjungi kampung halamanku, aku kecewa karena dia menggambarkannya dengan sangat keliru
    Aku paham sudut pandang yang anti-establishment dan non-mainstream, tetapi dia bergaul dengan penipu lokal dan orang-orang yang mengelola restoran gagal lalu memperkenalkan mereka sebagai ‘kuliner progresif’
    Sejak itu, aku jadi melihat episode-episode lainnya dengan sudut pandang berbeda

    • Setuju. Vice News melakukan hal serupa di Chicago sehingga warga lokal jadi tidak suka
    • Hal yang sama juga terjadi di Shanghai
    • Aku juga merasakan hal serupa. Acaranya memang menarik, tetapi ada kesombongan halus dari seorang pria kulit putih kaya yang seolah bisa menjelaskan situasi lokal di mana pun seperti seorang ahli. Makanannya sering kali hanya unsur sekunder
    • Aku penasaran kota yang mana. Aku juga merasakan hal seperti itu di beberapa tempat, dan selalu bertanya-tanya bagaimana tim produksinya memilih lokasi
    • Mungkin dia sendiri tidak sampai memverifikasi latar belakang politik orang-orang itu. Besar kemungkinan tim produksi yang mengatur semuanya lebih dulu dan dia tinggal ikut. Tetap saja, ada cukup alasan untuk melihat acaranya secara kritis. Aku penasaran nama kotanya
  • Senang sekali melihat materi yang dipulihkan ini :)
    Akan bagus kalau gambar-gambarnya juga bisa dipulihkan. Aku penasaran dengan daftar rekaman yang dia sebutkan

  • Senang mendengar bahwa SIBERIA dari daftar “Great Dead Bars of New York” sudah buka lagi
    Kali ini mulai lagi di dalam stasiun 59th Street/Columbus Circle

  • Aku tahu seharusnya tidak membahas desain situs, tetapi font abu-abu muda di atas latar putih terlalu sulit dibaca. Terutama untuk mata yang lebih tua, itu nyaris tidak terlihat

    • Di layarku itu bukan abu-abu muda. Aku sudah cek di desktop dan mobile, dan kode warna #2B2B2B cukup gelap. Mungkin ini masalah pengaturan gamma layar. Situsnya terlihat baik-baik saja
    • Aku juga awalnya merasa begitu, tetapi ternyata ekstensi dark mode mengubah warnanya. Setelah dimatikan jadi baik-baik saja
    • Aku paham kalau layar putih terang yang tiba-tiba muncul bisa membuat mata sakit
    • Pola titik-titik samar di latarnya juga agak mengganggu. Kontras terang-gelap itu penting
  • Bar favoritnya, Siberia, sudah buka lagi
    Letaknya di ujung selatan stasiun subway Columbus Circle, pemiliknya Tracy masih sama, dan suasananya tetap polos seperti dulu

  • Menurutku, daftar film apa pun yang memasukkan Tampopo pasti daftar yang bagus

  • Aku benar-benar berterima kasih atas kerja restorasi seperti ini
    Sebagai penggemar Bourdain, menurutku meski dia punya kekurangan sebagai manusia, dia tetap salah satu tokoh paling menarik dalam zeitgeist zamannya
    Seri Parts Unknown-nya adalah salah satu konten antropologis terbaik yang pernah kulihat di TV. Tulisan ini juga sangat menarik untuk dibaca