ArchiveTeam menyelesaikan pengarsipan semua tautan pendek goo.gl

• ArchiveTeam berhasil mengarsipkan semua tautan pendek goo.gl
• Siapa pun dapat berpartisipasi dalam proyek arsip melalui program pengarsipan virtual bernama ArchiveTeam Warrior
• Warrior ini dapat dijalankan di Windows, OS X, dan Linux tanpa risiko terpisah
• Pengguna dapat memilih proyek dan ikut berpartisipasi melalui pengaturan yang sederhana
• Menyediakan cara yang mudah dan intuitif untuk membantu kegiatan pengarsipan tanpa memerlukan keahlian khusus

---

Pengenalan ArchiveTeam Warrior

• ArchiveTeam Warrior adalah aplikasi virtual untuk pengarsipan yang dapat digunakan siapa saja dengan mudah
• Pengguna dapat menjalankan Warrior untuk mengunduh situs web dan lainnya, lalu ikut berpartisipasi dalam mengunggahnya ke arsip ArchiveTeam
• Warrior tidak menimbulkan risiko pada lingkungan komputer asli, dan hanya memanfaatkan bandwidth internet serta sedikit ruang disk
• Mendukung Windows, OS X, dan Linux, serta memerlukan program mesin virtual seperti VirtualBox dan VMware

Cara penggunaan dengan VirtualBox

• Unduh appliance Warrior (357MB)
• Di VirtualBox, klik menu File > Import Appliance lalu muat file yang sudah diunduh
• Saat mesin virtual dijalankan, pembaruan terbaru akan diterima secara otomatis, lalu akan diminta menggunakan peramban web

Proses setelah menjalankan Warrior

• Buka halaman Settings untuk memeriksanya
• Pilih nama pengguna agar progres ditampilkan di leaderboard
• Di tab All projects, pilih proyek yang diinginkan untuk diikuti, atau pilih ArchiveTeam’s Choice untuk berpartisipasi dalam proyek yang paling mendesak

Manfaat berpartisipasi

• Tanpa keahlian khusus atau proses yang rumit, siapa pun dapat dengan mudah berkontribusi pada aktivitas proyek arsip
• Rekam jejak aktivitas pengarsipan pengguna ditampilkan di leaderboard sehingga memberi motivasi dan efek kolaboratif

[GN⁺]

Komentar Hacker News

• Setiap kali ArchiveTeam mengerjakan proyek seperti ini, saya benar-benar kagum. Beberapa tahun lalu, saat platform video tempat saya bekerja mengumumkan akan segera tutup, saya terhubung dengan seseorang dari ArchiveTeam dan mendengar bahwa mereka tertarik pada pekerjaan pelestarian data. Saya memberi sedikit saran kepadanya (informasi tentang endpoint server yang mungkin menyulitkan proses pengarsipan) dan meminjamkan beberapa instance EC2 saya untuk sementara. Karena server itu milik saya, saya bisa melihat apa yang terjadi: dalam 2 menit instance sudah sepenuhnya siap dan langsung mulai mengarsipkan video dengan cepat, dan setiap instance mengunduh video yang berbeda secara efisien tanpa duplikasi. Misi ArchiveTeam selalu bagus, tetapi efisiensi cara mereka mengeksekusinya benar-benar mengesankan.

• Judulnya tidak akurat. Yang benar adalah Archiveteam.org, bukan Archive.org. The Internet Archive menyediakan ruang penyimpanan, tetapi pekerjaan pengarsipan yang sebenarnya dilakukan oleh anggota Archiveteam.

  • Saya penasaran apa tepatnya kontribusi Archiveteam; saya kurang memahaminya. Pada akhirnya terlihat seperti perantara yang sebenarnya tidak perlu antara target arsip dan server arsip. Mungkin ada sesuatu yang saya lewatkan.

• Ingin membagikan beberapa hal terkait: "Bergabung dalam perang melawan link rot" (tautan), beberapa thread diskusi HN tentang perubahan kebijakan goo.gl oleh Google (kumpulan tulisan terkait 2018~2025, di sini, di sini, di sini, di sini, di sini, di sini). Ada banyak diskusi yang beragam, semoga membantu.

• Membagikan pembaruan terbaru dari Google: tautan pembaruan blog Google

  • Ah, karena saya menganggap Google sebagai perusahaan yang sangat tidak bisa dipercaya, informasi yang keluar dari sana pun sangat tidak bisa dipercaya, jadi saya sama sekali tidak percaya pada "pembaruan" kali ini.
  • Menurut pengumuman Google, tautan yang dipendekkan (tautan goo.gl) "tidak akan berfungsi setelah 25 Agustus dan disarankan pindah ke layanan pemendek URL lain". Kalau begitu, bukankah mempertahankan hanya sebagian tautan jadi kehilangan maknanya? Bukankah itu berarti tautan pendek yang sudah tertanam di dokumen dan tidak bisa diperbarui pada akhirnya tetap akan putus semua?
  • Saya tetap bertanya-tanya apa gunanya. Tautan lama yang sudah hampir tidak digunakan lagi (atau beraktivitas rendah) seharusnya tidak memakan biaya besar untuk tetap di-redirect, jadi saya tidak mengerti kenapa harus dihentikan sama sekali (termasuk kebijakan seperti ini yang hanya mempertahankan redirect untuk tautan dengan trafik tinggi).
  • Saya tidak terlalu paham bagian ini. Apakah benar menyimpan seluruh database semahal itu? Toh sebagian tetap harus disimpan.

• Apakah ada yang mengarsipkan seluruh reddit atau twitter? Meskipun Terms mereka sudah diubah sehingga hal itu tidak diizinkan, saya penasaran.

  • Dulu reddit punya proyek bernama Pushshift. Sebelum API reddit berubah, data ini bisa diunduh dari the-eye, kelompok pengarsip/pelestari data lainnya. Untuk twitter, setahu saya tidak ada. Lagi pula sudah bertahun-tahun Wayback Machine juga tidak bisa mengarsipkan tweet.
  • Di Academictorrents, Anda masih bisa mendapatkan dump bulanan untuk semua submission dan comment reddit bahkan setelah pembatasan API.
  • Coba tanya ke OpenAI juga bisa.

• Saya kurang paham halaman ini. Ada daftar dataset (mungkin?), dan ukurannya tampak besar sampai 91 TiB. Rasanya daftar tautan pendek Google dan URL tujuannya saja tidak mungkin butuh sampai 91 TiB. Apakah ada yang tahu cara kerjanya?

  • Saya sempat menghitung kasar. URL acak yang saya ambil dari pencarian Google berukuran 705 byte, tautan pendek goo.gl 22 byte, dan kalau hanya menyimpan ID sederhana berarti 6 byte. Ada yang lebih pendek atau lebih panjang, tetapi secara keseluruhan ini menunjukkan kapasitas untuk puluhan miliar hingga triliunan URL.

• Saya senang bisa berkontribusi meski sedikit pada pengarsipan kali ini.

  • Saya juga senang melihat nama saya ada di leaderboard. Padahal yang saya lakukan cuma memasang docker container selama sehari lalu melupakannya.

• Saya penasaran berapa banyak tautan yang mengarah ke video YouTube privat atau Google Docs, dan sebagainya.

  • Sempat ingin bercanda dalam hati, "sekarang tinggal unduh lalu cari sendiri," tetapi ternyata kalau melihat di sini, ada batasan akses dengan "Access-restricted-item: true". Ukurannya juga disediakan per 10GB.

• Saya penasaran apakah yang dimaksud dengan "all" benar-benar semua URL yang tersedia untuk publik, atau mereka mencoba seluruh namespace URL secara iteratif.

  • Sebenarnya caranya adalah para relawan menjalankan klien sendiri untuk mencoba seluruh namespace URL secara iteratif tanpa terkena blokir IP.
  • URL goo.gl yang sudah publik sebenarnya sudah tercakup dalam crawling Internet Archive dan Common Crawl.