38% Halaman Web yang Ada pada 2013 Tidak Dapat Diakses 10 Tahun Kemudian
(pewresearch.org)- Meski web tampak seperti arsip permanen, dalam sampel Pew Research Center, 25% halaman web yang pernah ada antara 2013–2023 telah hilang per Oktober 2023, dan 38% halaman dari 2013 tidak dapat diakses
- Dalam penghitungan ini, tidak dapat diakses tidak mencakup perubahan konten atau masalah aksesibilitas, melainkan dibatasi pada 9 kode galat yang secara jelas menunjukkan bahwa halaman atau server host telah hilang
- Saat memeriksa tautan pemerintah, berita, dan Wikipedia pada musim semi 2023, 23% halaman web berita, 21% halaman web pemerintah, dan 54% halaman English Wikipedia berisi setidaknya 1 tautan rusak
- Dari pelacakan sekitar 5 juta tweet publik di X, yang saat itu bernama Twitter, selama 3 bulan, 18% tidak lagi terlihat secara publik; 60% di antaranya disebabkan akun menjadi privat, ditangguhkan, atau dihapus
- Di seluruh halaman web, materi lembaga publik, tautan berita, referensi Wikipedia, dan unggahan sosial, konten menghilang; semakin lama usia materi, semakin jelas pembusukan digital terlihat
Halaman web yang hilang dalam 10 tahun
- Internet digunakan sebagai repositori materi kehidupan modern seperti buku, gambar, dan artikel berita, tetapi sebagian konten menjadi tidak terlihat seiring waktu
- Pew Research Center memeriksa apakah sampel halaman web yang ada antara 2013–2023 masih dapat diakses per Oktober 2023
- Dari keseluruhan sampel, 25% halaman web yang pernah ada tidak lagi dapat diakses
- 16% memiliki domain root yang masih berfungsi, tetapi halaman individualnya tidak dapat diakses
- 9% tidak dapat diakses karena seluruh domain root tidak lagi berfungsi
- Semakin tua halaman web, semakin tinggi proporsi yang hilang
- 38% halaman web dari snapshot 2013 tidak dapat diakses pada 2023
- 8% halaman web dari snapshot 2023 tidak dapat diakses
- Sekitar seperlima halaman web dari snapshot 2021 juga tidak dapat diakses dua tahun kemudian
Kriteria untuk menentukan tidak dapat diakses
- Dalam analisis ini, tidak dapat diakses dibatasi pada kasus ketika halaman tidak lagi ada
- Ini mencakup kasus ketika server host atau halaman hilang sehingga biasanya muncul galat server seperti
404 Not Found
- Ini mencakup kasus ketika server host atau halaman hilang sehingga biasanya muncul galat server seperti
- Kasus berikut berada di luar cakupan studi ini
- Alamat halaman masih ada, tetapi kontennya berubah drastis dari semula
- Halaman masih ada, tetapi sulit atau tidak mungkin dibaca oleh sebagian pengguna, seperti penyandang disabilitas penglihatan
- Penentuan status halaman web masih menyisakan ambiguitas
- Ada puluhan kode status galat, dan sebagian tidak secara jelas menunjukkan apakah itu hilang permanen atau gangguan sementara
- Banyak situs memblokir pengumpulan data otomatis karena alasan keamanan
- Karena itu, dengan menerapkan kriteria paling konservatif, hanya 9 kode galat yang secara jelas menunjukkan bahwa halaman atau server host tidak lagi ada atau tidak berfungsi yang dihitung sebagai tidak dapat diakses
- Daftar lengkap kode galat disertakan dalam methodology
Sampel halaman web berbasis Common Crawl
- Analisis dilakukan dengan mengumpulkan secara acak halaman web untuk tiap tahun 2013–2023 dari layanan arsip internet Common Crawl
- Total sampel berjumlah sekitar kurang dari 1 juta halaman web, dengan sekitar 90.000 halaman untuk tiap tahun
- Per Oktober 2023, 25% dari seluruh sampel 2013–2023 tidak dapat diakses
- Halaman yang tidak dapat diakses dibagi menjadi dua jenis
- Halaman individual hilang, tetapi domain root masih berfungsi: 16%
- Seluruh domain root tidak lagi berfungsi: 9%
- Semakin lama waktu berlalu dari sebuah snapshot, semakin tinggi proporsi yang tidak dapat diakses, dan 38% halaman web dari 2013 tidak lagi ada
Tautan rusak di situs web pemerintah
- Analisis situs web pemerintah menggunakan sampel sekitar 500.000 halaman dari snapshot Common Crawl Maret–April 2023
- Sampel mencakup situs web pemerintah di berbagai tingkat, seperti federal, negara bagian, dan lokal
- Total tautan yang ditemukan di seluruh halaman web pemerintah berjumlah 42 juta
- 86% merupakan tautan internal yang mengarah ke halaman lain dalam situs web yang sama
- Sekitar tiga perempat halaman web pemerintah berisi setidaknya 1 tautan
- Jumlah tautan median per halaman adalah 50
- 10% halaman teratas berisi 190 tautan, dan 1% halaman teratas berisi 740 tautan
- Bentuk tautan juga diperiksa
- Mayoritas mengarah ke halaman HTTP aman yang diawali
https:// - 6% mengarah ke file statis seperti PDF
- 16% dialihkan ke URL lain, bukan URL yang semula dituju
- Mayoritas mengarah ke halaman HTTP aman yang diawali
- Setelah mengikuti dan memeriksa tautan, 6% tautan di situs web pemerintah tidak lagi dapat diakses
- 21% dari seluruh halaman web pemerintah yang disurvei berisi setidaknya 1 tautan rusak
- Proporsi tautan internal dan eksternal yang tidak berfungsi serupa
- Di semua tingkat pemerintahan, setidaknya 14% halaman memiliki tautan rusak
- Halaman pemerintah kota memiliki proporsi tautan rusak tertinggi
Tautan rusak di situs web berita
- Analisis situs web berita menggunakan sampel sekitar 500.000 halaman dari 2.063 situs web yang diklasifikasikan comScore sebagai “News/Information”
- Halaman dikumpulkan dari snapshot Common Crawl Maret–April 2023
- Sampel situs berita mencakup lebih dari 14 juta tautan yang mengarah ke situs web eksternal
- Tautan internal tidak dikumpulkan atau diperiksa apakah berfungsi
- 94% halaman berita berisi setidaknya 1 tautan eksternal
- Jumlah tautan median per halaman adalah 20
- 10% halaman teratas berdasarkan jumlah tautan berisi 56 tautan
- Mayoritas tautan di situs berita mengarah ke halaman HTTP aman yang diawali
https://- Sekitar 12% mengarah ke file statis seperti PDF
- 32% dialihkan ke URL lain, bukan URL asli
- Proporsi pengalihan tautan eksternal ke situs pemerintah adalah 39%
- Setelah menelusuri tautan situs berita, 5% dari seluruh tautan tidak dapat diakses
- 23% halaman berita dalam sampel berisi setidaknya 1 tautan rusak
- Di antara halaman pada 20% situs berita dengan trafik tertinggi, 25% berisi setidaknya 1 tautan rusak
- Di antara halaman pada 20% situs berita dengan trafik terendah, 26% berisi setidaknya 1 tautan rusak
- Hampir tidak ada perbedaan proporsi tautan rusak berdasarkan skala trafik
Tautan referensi Wikipedia
- Analisis mengumpulkan secara acak 50.000 halaman English Wikipedia dan memeriksa tautan di bagian “References”
- 82% halaman dalam sampel berisi setidaknya 1 tautan referensi yang mengarah ke halaman web di luar Wikipedia
- Total sampel mencakup sedikit lebih dari 1 juta tautan referensi
- Jumlah tautan referensi pada halaman tipikal adalah 4
- 11% dari seluruh tautan referensi Wikipedia tidak lagi dapat diakses
- Di antara halaman sumber yang memiliki tautan referensi, sekitar 2% memiliki semua tautan rusak atau tidak dapat diakses
- 53% halaman lainnya berisi setidaknya 1 tautan rusak
Hilangnya unggahan X/Twitter
- Analisis media sosial dilakukan dengan mengumpulkan secara real time sekitar 5 juta tweet publik dari X, yang saat itu bernama Twitter, antara 8 Maret–27 April 2023
- Pengumpulan menggunakan Twitter Streaming API, dengan mengumpulkan 3.000 tweet publik setiap 30 menit
- Pelacakan berlanjut hingga 15 Juni 2023, dan setiap hari diperiksa apakah tiap tweet masih dapat diakses di situs
- Pada akhir observasi, 18% dari tweet yang pertama kali dikumpulkan tidak lagi terlihat secara publik
- 60% terjadi ketika akun asal menjadi privat, ditangguhkan, atau dihapus
- 40% terjadi ketika akun masih ada, tetapi tweet individual dihapus
Ciri tweet yang lebih sering hilang
- Tweet yang ditulis dalam bahasa tertentu lebih mungkin hilang
- Hampir setengah tweet berbahasa Turki tidak lagi dapat diakses pada akhir pelacakan
- Tweet berbahasa Arab juga hilang dengan proporsi sedikit lebih rendah
- Secara ringkas, lebih dari 40% tweet berbahasa Turki atau Arab menjadi tidak terlihat dalam 3 bulan
- Tweet dari akun yang menggunakan pengaturan profil default juga lebih sering hilang
- Tweet dari akun yang memakai gambar profil default, lebih dari setengahnya tidak lagi dapat diakses
- Tweet dari akun yang memakai kolom bio default, lebih dari sepertiganya tidak lagi dapat diakses
- Tweet dari akun seperti ini cenderung hilang karena akun dihapus atau diubah menjadi privat, bukan karena penghapusan tweet individual
- Tweet dari akun tidak terverifikasi juga lebih mungkin dihapus atau dihilangkan
- Tweet yang hilang umumnya lebih baru, diposting oleh akun dengan jumlah pengikut relatif lebih sedikit dan tingkat aktivitas sedang
- Akun yang memposting tweet yang menjadi tidak terlihat rata-rata sekitar 8 bulan lebih baru dibandingkan akun yang memposting tweet yang tetap ada
- Retweet, quote tweet, dan tweet asli tidak banyak berbeda dari rata-rata keseluruhan
- Balasan relatif lebih jarang dihapus, dengan proporsi tidak dapat diakses pada akhir pelacakan sebesar 12%
Kecepatan tweet hilang dan muncul kembali
- Sebagian besar tweet yang dihapus menghilang relatif cepat setelah diposting
- Berdasarkan analisis survival, waktu penghapusan tweet adalah sebagai berikut
- 1% dihapus dalam 1 jam setelah diposting
- 3% dihapus dalam sehari
- 10% dihapus dalam seminggu
- 15% dihapus dalam sebulan
- Separuh tweet yang akhirnya dihapus menjadi tidak dapat diakses dalam 6 hari setelah diposting
- 90% tweet yang akhirnya dihapus menjadi tidak dapat diakses dalam 46 hari setelah diposting
- Tweet tidak selalu hilang secara permanen
- 6% tweet yang dikumpulkan sempat hilang lalu kemudian dapat diakses kembali
- Penyebabnya bisa karena akun yang sempat privat kembali menjadi publik, atau akun yang sempat ditangguhkan dipulihkan
- 90% tweet yang muncul kembali masih dapat diakses di Twitter pada akhir pelacakan
1 komentar
Opini Hacker News
Masalah yang lebih besar daripada 38% halaman web yang menghilang adalah banyak organisasi, kelompok, dan bisnis kini hampir hanya memakai halaman Facebook, dan tidak punya kehadiran web di luar Facebook
Pada akhirnya, untuk berinteraksi dengan mereka, akun Facebook menjadi wajib
Sekarang semuanya pindah ke subreddit, grup Facebook, dan chat Discord, dan sangat disayangkan informasi berharga tersembunyi di dalam grup-grup semacam itu
Sekadar melihat apa yang terjadi sekali sehari; kalau punya akun, tautan ini membuat hal itu jauh lebih mudah: https://www.facebook.com/?filter=friends
Bisnis lokal di sekitar saya punya cukup banyak informasi di Google Maps, dan meski punya situs web pun biasanya sudah usang, kalau menelepon langsung biasanya pertanyaan saya terjawab
Sekarang web jauh lebih besar tetapi jauh lebih homogen; rasio seperti itu mungkin sekitar 0,00001%, dan menurut saya situs Web 1.0 lebih baik daripada “halaman grup” tertutup masa kini
Ketika saya bilang tidak memakai Facebook, mereka menatap saya seperti orang aneh
Meski begitu, situs web yang cukup baik setidaknya berusaha sedikit untuk melestarikan konten lama
Misalnya halaman liputan CNN dan BBC saat serangan 9/11 masih ada: http://news.bbc.co.uk/hi/english/static/in_depth/americas/20...
http://edition.cnn.com/SPECIALS/2001/trade.center/index.html
Sulit berharap banyak tautannya masih berfungsi dengan baik, tetapi sekadar melihat seperti apa web lama itu pun menarik
Sulit membayangkan banyak situs masa kini akan tetap seperti itu 20 tahun lagi; bukan karena secara teknis mustahil, melainkan terasa mirip dengan menurunnya kualitas tulisan setelah penemuan pengolah kata
Sekarang semuanya dikelola dan distrukturkan, sehingga terasa seperti kebebasan dan ruang gerak yang dulu memungkinkan terciptanya hal-hal baik dengan cara yang sulit dijelaskan telah menghilang
Jika ingin mendukung upaya pelestarian berbagai konten, bukan hanya konten lama, ada baiknya menyumbang beberapa pound saja ke Internet Archive (archive.org)
Dan untuk hal-hal yang Anda anggap bernilai, sebaiknya buat salinan lokal sebisa mungkin sebagai antisipasi jika suatu hari menghilang
Banyak halaman teknis dalam file bookmark saya, yang sudah saya pindahkan dari satu instalasi ke instalasi lain selama lebih dari 20 tahun, kini mengarah ke cadangan lengkap terakhir sebelum halaman aslinya menghilang
Internet Archive adalah manfaat yang luar biasa bagi semua orang
Sekarang, jika ada tulisan bernas, informasi teknis, humor, atau informasi lain yang ingin saya rujuk nanti, saya menyimpan halaman web sebagai PDF atau semacamnya
Bookmark hanya cocok untuk hal-hal yang memang hanya versi terbarunya yang layak diakses. Misalnya situs bank, situs belanja, sistem remote desktop perusahaan
Satu hanya melestarikan situs web, dan yang lain menangani sisanya, seperti uji agresif atas hak kekayaan intelektual terkait e-book atau video game
Dengan begitu, meski “pihak lain” runtuh karena gugatan, pelestarian situs web tetap bisa bertahan. Yang pertama adalah layanan penting bagi umat manusia sehingga saya juga menyumbang, tetapi saya khawatir akan masa depannya
Saya mengelola situs berita sejak 2019
Setiap jam crawler mencari tautan mati, dan sekitar satu tautan per hari saya ubah menjadi tautan archive.org
Yang paling lucu adalah ketika situs web kandidat menjadi halaman kosong semua pada hari setelah pemilu, dan yang paling menyedihkan adalah situs web pemerintah yang down setiap minggu antara pukul 03.00 dan 05.00 dini hari
Justru saya terkejut angkanya tidak lebih tinggi
Tahun 2013 sudah lama setelah era situs hobi internet awal, dan saat itu sebagian besar situs baru dibuat untuk tujuan bisnis
Mengingat umur bisnis, saya memperkirakan jauh lebih banyak situs akan hilang setelah 11 tahun
Mungkin banyaknya ruang pembangunan komunitas seperti Angelfire dan Geocities yang mati menyumbang porsi besar
Akan menarik khususnya jika ada grafik tentang berapa lama situs web bertahan. Konten awal cukup banyak yang masih tersisa, dan sekitar 2008–2018 mungkin menjadi puncak kepunahan situs
Misalnya Geocities, folder FTP yang disediakan kampus dan dihapus setelah lulus, serta folder FTP yang disediakan ISP seperti Earthlink, Juno, dan Comcast; kemungkinan besar sebagian besar sudah dihapus
Saya berharap tidak semuanya tersisa selamanya
Belum lama ini saya tidak sengaja menemukan .com pertama saya yang dibuat pada 1990-an; situs itu di-host di Angelfire dan archive.org dengan tekun menyimpannya kembali, dan hasilnya persis seperti yang bisa dibayangkan
Itu halaman web yang saya buat bersama teman saat kelas 4 SD, jadi menurut standar waktu itu cukup oke, tetapi menurut standar sekarang ada hal-hal yang, bahkan dengan memahami konteksnya, tetap tidak oke
Bukan sesuatu yang mengerikan, tetapi isinya berselera buruk yang muncul dari ketidaktahuan polos ala anak SD tahun 90-an; mungkin tidak akan pernah sepenuhnya terhapus dari hati nurani, jadi saya hanya bisa menanggungnya sambil berharap tidak ada yang melihat
Kalau ini bisa menghibur, kita semua saat itu hanyalah anak-anak atau remaja yang sedang belajar tentang dunia
Saya merasa lebih kasihan pada generasi setelah kita, karena mereka tumbuh setelah internet menjadi ruang yang lebih mudah diakses dan kadang lebih permanen
Untungnya archive juga kadang mau menurunkan materi
Segala sesuatu di internet pada dasarnya sementara
Lebih baik menerimanya daripada melawannya; jika ingin menyimpan sesuatu, buatlah salinan offline
PDF/A, terutama versi -1 dan -2, adalah format yang secara eksplisit dirancang untuk preservasi dan cocok untuk konten statis
Namun sayang mirroring tidak lebih mudah tertanam dalam web stack, yaitu HTTP/HTML. Seandainya tautan bisa dibuat dengan mudah menyertakan salinan lokal sebagai jalur alternatif, link rot akan jauh tidak terlalu mengkhawatirkan
Cara Wikipedia menautkan semuanya lewat archive.org secara pribadi terlihat agak seperti solusi tambal sulam
Jujur saja, saya terkejut angkanya serendah itu
Sebagian besar web saat ini terlihat seperti sampah optimasi mesin pencari
Itu sendiri bukan hal buruk
Meski begitu, bagus bahwa ada sesuatu seperti arsip web yang menjaga ingatan kolektif kita untuk konten yang bernilai
Saya terutama berharap catatan persis yang ditulis saat suatu peristiwa terjadi disimpan di suatu tempat yang tidak bisa diubah belakangan. Saat ini tampaknya menulis ulang sejarah sedang populer, dan menyimpan catatan asli pada masanya dapat menjadi penangkalnya
Bahkan jika catatan itu tidak sepenuhnya akurat, ia membantu memahami apa yang diyakini para pelaku saat itu sebagai kebenaran
Saya melihat ini sebagai kegagalan serius internet yang semestinya bisa kita hindari dengan lebih baik secara kolektif
Dalam kebanyakan kasus, kontennya sendiri kemungkinan masih ada di suatu tempat, hanya tautannya saja yang rusak
Sistem dua lapis seperti sistem DOI yang digunakan perpustakaan bisa membantu dalam kasus seperti ini: https://nuim.libguides.com/referencing/DigitalObjectIdentifi...
Namun untuk mempertahankan kegunaan dan kenyamanan URL, ini harus ditangani secara otomatis, dan saya tidak begitu yakin bagaimana itu bisa dilakukan
Ini bukan bug, melainkan fitur
Akan mengerikan jika kita hidup di dunia yang tidak pernah lupa dan tidak pernah memaafkan
Saya juga suka bahwa melestarikan konten bernilai membutuhkan sejumlah usaha. Dengan begitu nilainya lebih diakui
Logika bahwa “konten bernilai harus membutuhkan upaya pelestarian agar nilainya lebih diakui” terdengar seperti argumen bahwa hampir semua hal harus mahal
Seolah-olah penyimpanan murah itu buruk karena membuat kita tidak menghargai nilai file, sementara layanan kesehatan mahal itu baik karena membuat kita menyadari nilai organ tubuh
Bagian yang sulit adalah meramalkan konten apa yang akan dianggap bernilai di masa depan. Sejauh ini tidak ada peradaban manusia yang benar-benar berhasil mengetahuinya, dan umumnya mereka berfokus melestarikan betapa agungnya para raja
Tulisan itu dimulai dengan “Anak-anak Macintosh, berlututlah di hadapan Unix…” dan seluruh teksnya mempertahankan gaya seperti Alkitab sambil menjelaskan mengapa Mac ditaklukkan oleh NeXT
Itu tulisan yang benar-benar hebat, jadi sesekali saya mencoba mencarinya lagi di internet, tetapi sulit mengetahui apa yang hilang jika kita tidak tahu apa yang hilang
Ada lempeng tanah liat beraksara paku yang digali dari tumpukan sampah Ur, dan berkat itu sedikit pengetahuan yang kita miliki tentang Sumer masih tersisa
Penemuan tulisan membuat lupa menjadi mustahil, dan para antropolog seperti Jack Goody, James Carey, David Olson, Barry Powell, serta penulis seperti Walter Ong, telah mengkajinya secara mendalam
Kita sebenarnya hidup di dunia mengerikan yang sebagian besar terperangkap di masa lalu, dan kompleksitas budaya menumpuk berlapis-lapis seperti kulit bawang
Siapa pun bisa kembali ke masa lalu dan merindukannya, tetapi masa lalu yang diakses lewat pengetahuan tersimpan memiliki makna berbeda bagi orang-orang yang tidak mengalaminya secara langsung
Sejak mesin cetak, kita hidup dalam inflasi informasi yang terus berlanjut. Para cendekiawan Abad Pertengahan mengeluh bahwa karena mesin cetak siapa saja bisa membaca dan menulis buku, kaum skolastik terkejut oleh naiknya bahasa rakyat, dan Michelangelo mengeluhkan seni kosong para pelukis Flemish
Yang penting di sini adalah laju pembusukannya. Artikel itu mengatakan 38% situs yang ada pada 2013 telah hilang, padahal baru 10 tahun
Kita tidak tahu berapa banyak di antaranya sekadar noise dan berapa banyak yang merupakan informasi berguna atau setidaknya konten menarik. Karena semuanya sudah hilang
Kita juga tidak tahu seberapa banyak yang disimpan oleh scraper web besar, atau seberapa banyak yang disimpan Google atau Twitter
Bagaimana mendefinisikan konten yang bernilai? Apakah itu tweet dengan 1 juta tayangan yang hanya berisi foto aktris setengah telanjang, atau tweet tentang penemuan penting dengan 300 tayangan?
Ketika internet meruntuhkan para penjaga gerbang berupa editor surat kabar, buku, majalah, TV, dan radio, kita sangat bergembira, tetapi akibatnya kita tersapu oleh noise, teori konspirasi, meme, TikTok, dan sebagainya
Masalahnya adalah kita nyaris tidak mampu menangani jumlah informasi masif yang membanjiri kita, jumlah orang juga terlalu banyak dan selera terlalu beragam sehingga sulit menyepakati apa yang bernilai dan apa yang tidak
“Fitur” yang kamu sebut mungkin memang begitu secara desain, tetapi itu tidak berarti berguna atau benar secara moral