Proyek Warrior ArchiveTeam

 (warrior.archiveteam.org)
1 poin oleh GN⁺ 2024-08-04 | 1 komentar | Bagikan ke WhatsApp
  • ArchiveTeam Warrior adalah alat pengarsipan virtual yang memungkinkan siapa pun berpartisipasi dalam pekerjaan ArchiveTeam untuk melestarikan data web yang bisa hilang dengan memanfaatkan sumber daya komputer pribadi yang tersedia
  • Warrior mengunduh situs lalu mengunggahnya ke arsip ArchiveTeam, dan pengguna terutama menyediakan bandwidth serta sedikit ruang disk
  • Dapat dijalankan di Windows, OS X, dan Linux, dengan lingkungan yang direkomendasikan adalah VirtualBox, tetapi VMware atau program mesin virtual serupa juga bisa digunakan
  • Di VirtualBox, impor appliance lalu jalankan mesin virtual, kemudian atur nama pengguna dan proyek yang ingin diikuti melalui browser
  • Appliance mesin virtual terbaru adalah version 4.1, dan proyek juga bisa dijalankan sebagai instance Docker warrior alih-alih VM

Apa yang dilakukan ArchiveTeam Warrior

  • ArchiveTeam Warrior adalah alat berbasis mesin virtual untuk berpartisipasi dalam pekerjaan pengarsipan web ArchiveTeam
    • Mengunduh data situs dan mengunggahnya ke arsip ArchiveTeam
    • Proses penggunaannya dirancang agar mudah diikuti
  • Warrior berjalan sebagai mesin virtual, dan pengguna menyediakan bandwidth serta sebagian ruang disk
  • Lingkungan yang didukung adalah Windows, OS X, dan Linux
    • VirtualBox direkomendasikan
    • VMware atau program serupa juga dapat digunakan

Instalasi dan prosedur partisipasi

  • Memulai dengan VirtualBox

    • Unduh berkas appliance
    • Di VirtualBox, pilih File > Import Appliance lalu buka berkas tersebut
    • Saat mesin virtual dijalankan, sistem akan mengambil pembaruan terbaru, lalu menampilkan panduan untuk membuka browser web

  • Pengaturan Warrior

    • Buka http://localhost:8001/ untuk memeriksa halaman Settings
    • Jika memilih nama pengguna, progres akan ditampilkan di leaderboard
    • Di tab All projects, Anda dapat memilih proyek yang ingin dikerjakan, atau memilih ArchiveTeam’s Choice agar otomatis ditugaskan ke proyek yang paling mendesak

  • Versi terbaru dan alternatif Docker

    • Appliance mesin virtual Warrior telah diperbarui ke version 4.1, dan tautan appliance warrior3 yang ada adalah tautan lama
    • Proyek juga dapat dijalankan sebagai instance Docker warrior tanpa appliance VM, dan detailnya dapat dilihat di README pada GitHub repository
    • Masalah atau umpan balik dibahas di channel #warrior di hackint
    • Anda juga dapat membaca Frequently Asked Questions

Dukungan untuk ArchiveTeam dan Internet Archive

  • Internet Archive meng-host arsip ArchiveTeam, dan tidak hanya menyimpan data tetapi juga memelihara perpustakaan yang dapat diakses gratis oleh siapa saja
    • Donasi dapat dilakukan di Donate to the Internet Archive
    • Untuk penyewaan server bagi ArchiveBot, server rsync, dan lainnya, atau donasi anggota ArchiveTeam, silakan tanyakan di ruang obrolan IRC yang sesuai

Proyek yang dapat diikuti

  • Proyek saat ini mencakup URLTeam 2, URLs, Blice, Tenor, KakaoTV, Wikimedia Etherpad, Medica Bibliothèque Numérique, Recursive Jobs, Roblox Groups, Peing-質問箱-, Microsoft Update, Meta Ad Library, Twitch, Radio Free Asia, Radio Free Europe/Radio Liberty, Voice of America, US Government, Blogger, Telegram, YouTube, GitHub, MediaFire, Pastebin, Imgur, ВКонтакте, Stack Exchange, dan Periscope
    • Proyek YouTube mengarsipkan video YouTube yang dipilih, dengan peringatan bahwa alamat IP disimpan pada URL video
    • Proyek GitHub dijalankan bekerja sama dengan Internet Archive dan GitHub
    • Proyek Periscope berstatus PAUSED

Bacaan terkait

1 komentar

 
GN⁺ 2024-08-04
Komentar Hacker News

  • Proyek seperti ini jelas diperlukan, tetapi di luar sekadar mengarsipkan, perlu ada cara untuk membuat data tersebut benar-benar bisa digunakan publik
    Reddit mungkin tidak menganggap ancaman besar jika hanya ada seseorang yang mengeruk data lalu membuat cadangan yang sulit diakses, tetapi mereka pasti akan jauh lebih takut jika ada jaringan node terdistribusi yang menjalankan sebagian salinan Reddit dan menyediakan data ke klien yang mengutamakan lokal atau mirror Lemmy

    • Sebagian besar proyek membuat file WARC, menggabungkannya, lalu mengunggahnya ke archive.org agar masuk ke Wayback Machine: https://web.archive.org/
      Sebagai catatan, Archive Team terpisah dari Internet Archive
    • Reddit cukup tidak menyukai layanan yang memirror data mereka secara publik, dan akhirnya mengubah ketentuan penggunaan API sehingga layanan-layanan itu harus menghapus data dan tutup
    • Saya tidak yakin apakah keuntungan utamanya di sini benar-benar mengancam perusahaan yang bisa mengubah API kapan saja
      Lihat saja PushShift, Nitter, Youtube Vanced
    • Kita bisa membayangkan internet P2P sementara yang offline-first yang membuat BGP jadi usang dan memakai memori pengalamatan konten/komputasi bersama yang dimemoisasi secara global melalui DHT/mesin virtual
      Dengan begitu, identitas sesuatu menjadi susunannya sendiri

  • Tulisan terkait:
    ArchiveTeam Warrior: mengarsipkan imgur sebanyak mungkin - https://news.ycombinator.com/item?id=35983510 - Mei 2023, 2 komentar
    Help preserve the internet with Archiveteam's warrior - https://news.ycombinator.com/item?id=30524842 - Maret 2022, 51 komentar
    ArchiveTeam Warrior backing up Reddit - https://news.ycombinator.com/item?id=29584622 - Desember 2021, 71 komentar

  • Saya sempat berpikir ini sepertinya bisa dijalankan dengan Docker, jadi saya mencari repositorinya, dan syukurlah semuanya sudah siap
    https://github.com/ArchiveTeam/warrior-dockerfile/tree/maste...
    https://github.com/ArchiveTeam/warrior-dockerfile/blob/maste...

  • Pengaturannya sangat mudah
    Karena paket internet saya sekarang tanpa batas, rasanya menyenangkan bisa ikut berkontribusi meski dalam skala kecil
    Saya sempat ingin melihat apakah skrip ArchiveTeam Warrior bisa dijalankan di ponsel Android yang tidak terpakai, tetapi tidak didukung langsung dan itu di luar kemampuan saya

    • Menjalankannya sebagai kontainer docker compose di perangkat x86 benar-benar mudah
      Andai saya punya waktu untuk mencari cara menyiapkannya di dalam QEMU pada Raspberry Pi, dan kalau file compose seperti itu dipublikasikan, sepertinya lebih banyak orang bisa memakainya

  • Beberapa bulan lalu saya merancang sistem yang memungkinkan orang menyumbangkan ruang disk ke layanan seperti archive.org
    Jika seseorang berkata, “Saya ingin meng-host 100GB konten archive.org”, sistem akan berkomunikasi dengan archive.org, mencari konten yang saat itu paling langka, lalu mendorongnya ke pengguna
    Ada juga fitur pencarian untuk menemukan konten jika seseorang berkata, “Saya ingin mendapatkan konten X dari jaringan ini”
    Ini pada dasarnya hanya pembungkus tipis di atas torrent, tetapi saat ini hal seperti ini belum ada, dan ketika saya menghubungi orang-orang arsip, mereka tampaknya tidak terlalu tertarik

    • Bukankah IPFS awalnya memang dimaksudkan untuk melakukan hal itu?
    • Archive Team sebenarnya pernah punya proyek yang dihentikan bernama INTERNETARCHIVE.BAK yang pada dasarnya sama dengan ide ini
      Hanya saja, memakai alat itu akan membuat Anda melanggar hukum karena pelanggaran hak cipta
    • libgen punya tracker seperti ini untuk buku: https://phillm.net/libgen-seeds-needed.php
      Sekarang sepertinya sudah rusak
    • Sayang sekali kalau tidak ada satu pun proyek Filecoin yang menyelesaikan ini
      Caranya bisa dengan membayar untuk meng-host blok data selama periode tetap dan jumlah unduhan tetap
    • Ini ide yang sangat bagus; saya penasaran kenapa tidak diadopsi
      Apakah mereka memberi alasannya?

  • Jika ingin berkontribusi pada pelestarian digital, layak mempertimbangkan menjalankan appliance Warrior atau kontainer Docker

  • Saya kurang paham keuntungan dari model ketika orang-orang mengunduh situs lalu mengunggahnya dengan pengaturan arsip yang disediakan Archive Team
    Apa kelebihannya dibanding Archive Team mengunduh situs itu sendiri lalu memasukkannya ke arsip mereka?

    • A) Membutuhkan lebih sedikit sumber daya dari pihak Archive Team
      B) Dan mungkin yang lebih penting, permintaan menjadi tersebar dari banyak tempat sehingga kecil kemungkinan terkena rate limit atau diblokir
    • Archive Team bukan Internet Archive
      Mereka perlu tempat untuk mengunduh semuanya terlebih dahulu sebelum mendorongnya ke archive.org

  • Saya penasaran bagaimana proyek ini mencegah saya sebagai penyerang memasukkan data sampah acak, atau menimpa halaman yang diunduh dengan perubahan yang salah dengan cara tertentu
    Di HTTP tampaknya tidak mungkin, dan di HTTPS siapa yang melakukan terminasi TLS?
    Jika Warrior hanyalah proxy TCP sederhana dan Archive adalah klien TLS, itu mungkin aman, tetapi di https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior bagian itu tampaknya tidak dijelaskan dengan jelas

    • Tidak dicegah, tetapi dalam praktiknya itu bukan masalah
      Tujuannya adalah mendapatkan sebanyak mungkin data dalam waktu sesingkat mungkin sebelum situsnya ditutup
      Daripada kehilangan efisiensi pengarsipan sebesar 30% karena terlalu paranoid, lebih baik menerima 1% data sampah tercampur
      Untuk HTTPS, Warrior secara harfiah menjalankan wget dan menyimpannya sebagai file WARC, lalu mengunggah file itu ke server pelacak

  • Saya ingin berkontribusi dengan Raspberry Pi, tetapi tidak mendukung ARM agak merepotkan
    Saya ingin cukup mengunduh kontainer, menjalankannya, lalu selesai, tetapi tidak ada cara mudah untuk mengakalinya: https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior#C...?

    • Jika wget-at dikompilasi untuk ARM, ada beberapa masalah konsistensi
      Meski begitu, itu bisa dijalankan di bawah emulasi mode pengguna QEMU, dan memang digunakan seperti itu pada beberapa host

  • Saat membaca README saya menemukan panduan berikut
    Version 4 is now available at
    https://warriorhq.archiveteam.org/downloads/warrior4/
    Di sana ada README yang berisi tautan ke sumber versi baru: https://github.com/ArchiveTeam/warrior4-vm
    Versi baru ini juga disebutkan di beranda wiki
    An updated Warrior virtual appliance (v3.2, v4.0) is now available with better support for newer projects that utilize wget-at.
    ArchiveTeam perlu memperbarui URL unduhan appliance