BorgBackup 2.0, dukungan Rclone – menambah dukungan untuk lebih dari 70 penyedia cloud selain SSH

• Beta 2.0.0b11 hanya untuk pengujian repositori baru dan dilarang digunakan di produksi
• Borg 2.0 adalah breaking release yang tidak kompatibel dengan repositori lama; untuk memindahkan arsip dari repositori borg 1.2/1.4 ke repositori borg 2.0 yang baru, perlu menggunakan borg transfer
• Sebelum memakai borg transfer, lakukan upgrade ke borg >= 1.2.6 atau borg yang sudah menerapkan perbaikan CVE-2023-36811, serta ikuti petunjuk upgrade terkait manifest dan archive TAM
• Menambahkan dukungan URL rclone:// untuk repositori Borg, sehingga dapat memakai lebih dari 70 produk penyimpanan cloud seperti Amazon S3, Backblaze B2, Ceph, Dropbox, Google Cloud Storage, Google Drive, Microsoft Azure, Microsoft OneDrive, OpenStack Swift, sftp, SMB/CIFS, WebDAV, dan lainnya
• Mendukung pekerjaan paralel pada repositori yang sama dari klien yang sama
• Menambahkan fitur Archive series, NAME mengidentifikasi seri arsip dengan nama yang sama, dan satu arsip tertentu diidentifikasi dengan aid:<archive hash>
• Karena perubahan sintaks baris perintah, skrip dan wrapper perlu diperbarui: repositori biasanya ditentukan lewat BORG_REPO atau borg -r <MYREPO> <COMMAND>, dan format repo::archive tidak lagi digunakan
• Sintaks repositori gaya scp dihapus, harus memakai URL ssh://
• Beberapa perintah yang sebelumnya berlaku ganda untuk repositori/arsip kini dipisah atau diubah namanya: borg init menjadi borg repo-create, operasi repositori memakai borg repo-*, dan operasi arsip memakai borg create NAME, borg list ID, borg extract ID, dan seterusnya
• --glob-archives diubah namanya menjadi --match-archives, mendukung gaya pola id:, sh:, re:, dan nilai default-nya adalah id: yang mencocokkan string yang sama persis
• Karena memakai platformdirs 3.x.x, XDG_*_HOME tidak diterapkan di macOS dan Windows, dan direktori config/cache bawaan di macOS berubah menjadi ~/Library/Application Support/borg/
• --remote-ratelimit, --numeric-owner, --nobsdflags, --noatime, --save-space, --bypass-lock, dan borg config dihapus
• Penggunaan --list dan --progress secara bersamaan dilarang, kecuali untuk pengecualian --log-json
• Peningkatan performa borg check dan compact pada repositori berlatensi tinggi dengan menghapus pemanggilan repository.list() yang tidak perlu, serta peningkatan performa mayoritas perintah dibanding b10 pada repositori berlatensi tinggi berkat cache chunks index di dalam repositori
• Memperbaiki race condition langka pada cache file yang berpotensi menyebabkan kehilangan data
• Entri cache file kini menyimpan ctime dan mtime, dan cache file dapat dibangun ulang dari arsip sebelumnya dalam archive series yang sama
• Cache file dipisahkan per archive series untuk mengurangi penggunaan RAM
• Penentuan ganda untuk beberapa opsi yang tidak bermakna kini dilarang, sehingga skrip yang sebelumnya berjalan bisa gagal

[GN⁺]

Pendapat di Hacker News

• Saya memakai BorgBackup dan cukup puas
  Rasanya seperti sekali dikonfigurasi lalu bisa dilupakan, dan bahkan setelah 7 tahun, backup deduplikasi masih berjalan tiap minggu tanpa masalah
  Saya merekomendasikan memakainya bersama borgmatic, yang mengurangi kompleksitas backup Borg internal: https://github.com/borgmatic-collective/borgmatic

  • Jika memakai lingkungan desktop dan lebih suka GUI, Vorta juga cocok
    https://vorta.borgbase.com/
  • Alat seperti ini, setelah dipelajari dan dikonfigurasi, benar-benar jadi terlupakan, lalu nantinya malas untuk mengingatnya lagi sehingga orang cenderung menghindari verifikasi backup
    Karena itu saya makin condong ke rsync atau alat yang punya frontend GUI
  • Kalau “set and forget” itu sudah 7 tahun, semoga sesekali tetap melakukan verifikasi pemulihan backup
  • Saya penasaran apakah ada klien Android yang bagus

• Saat ini saya hanya memakai rclone untuk backup ke mesin remote milik saya, dan jelas itu bukan solusi profesional
  Saya sempat mempertimbangkan menambahkan Backblaze B2 sebagai lokasi remote, tetapi memakai rclone saja rasanya sulit disebut metode backup modern
  Secara ketat, rclone bukan alat backup, dan walaupun punya fitur enkripsi, rasanya agak kasar
  Menurut saya alat backup yang layak seharusnya membagi data menjadi blok dengan ukuran yang sesuai, mempertahankan tautan dengan men-tar direktori bila perlu alih-alih membuatnya persis sebagai file per file sesuai API S3/B2, dan menangani praktik terbaik yang sudah lama mapan seperti deduplikasi
  Saya penasaran apakah ada alat yang bisa direkomendasikan
  Saya sempat melihat restic dan duplicati, tetapi keduanya tidak sesederhana yang saya harapkan dari alat backup khusus
  Saya tidak butuh GUI, malah tidak menginginkannya, dan akan bagus jika semua konfigurasi masuk ke satu file konfigurasi sehingga bisa di-backup ke lokasi terpisah seperti data lain dan direproduksi di mesin baru
  Masalah yang lebih besar adalah saya pernah melihat kisah menakutkan bahwa alat-alat seperti ini merusak indeks sehingga data tidak bisa dipulihkan; untuk alat backup, itu adalah area inti yang tidak boleh gagal dalam kondisi apa pun, jadi sulit diterima

  • Jika ingin memperlakukan konfigurasi seperti satu file, kopia layak dilihat
    Perannya sama seperti restic, tetapi cara menangani konfigurasinya mungkin lebih cocok
    Referensi tambahan: https://news.ycombinator.com/item?id=34154052
    Sebaiknya tidak perlu mencoba duplicati
    Saya beberapa kali benar-benar mencoba memakainya, tetapi selalu gagal karena penuh bug, dan makin disayangkan karena saya sebenarnya suka antarmukanya
  • Setelah mencoba backup di rpi dan merasa Borg terlalu lambat sampai tidak layak dipakai, saya memakai bupstash
    Setelah itu saya meng-upgrade server rumah ke perangkat yang layak, tetapi secara umum bupstash berjalan lebih baik, jadi saya tetap memakainya
    Namun perlu diingat bahwa rilis terakhirnya 2 tahun lalu, dan penulisnya masih menandainya sebagai beta
    Meski begitu, standar kualitas penulisnya tampaknya lebih tinggi daripada banyak proyek lain yang “bukan beta”
    Perbandingan alat backup yang berguna: https://github.com/deajan/backup-bench
  • Soal sederhana atau tidak tergantung use case, tetapi borg sangat bagus
    Saya menyarankan mengikuti panduan quick start di dokumentasinya
    Mendukung deduplikasi dan enkripsi serta punya jauh lebih banyak fitur, tetapi jika tidak perlu, tidak harus dipakai
    Saya memakainya bersama borgmatic untuk menyusun prosedur backup dan disaster recovery yang mengurangi risiko kehilangan data
    borgbase juga layanan yang bagus, tetapi jika tidak membutuhkan fitur tambahan borgbase, memakai dukungan rclone untuk tempat seperti B2 bisa lebih murah
    Saya sudah cukup lama memakainya baik untuk proyek pribadi maupun pekerjaan berbayar, dan pengalamannya baik
  • Saya memakai kombinasi restic + autorestic/resticprofile
    Borg 2 masih beta, dan Kopia juga berada di posisi serupa
    Kopia adalah alat yang lebih baru, jadi saya sedang mengujinya sebagai backup deduplikasi terpisah di mesin yang sama; karena ada ruang, tidak ada alasan untuk tidak melakukannya
    Sesekali saya menjalankan pemeriksaan integritas, termasuk data, agar bisa yakin metadata dan datanya baik-baik saja
  • Saya sangat puas membackup ke BackBlaze B2 dengan Restic
    “File konfigurasi”-nya sebenarnya adalah skrip shell yang mengatur environment seperti lokasi repositori, menjalankan backup yang diinginkan, dan menjalankan perintah prune sesuai kebijakan retensi
    Saya sudah memakai konfigurasi ini dengan sukses selama beberapa tahun
    Saya belum pernah melakukan pemulihan penuh, tetapi pemulihan file dan direktori individual tidak bermasalah
    Saya penasaran apakah ada tautan terkait masalah kerusakan indeks itu
    Saya sendiri belum pernah mengalaminya, tetapi tentu saja satu sampel saja tidak terlalu bermakna

• Saya sudah lama ingin membuat backend rclone untuk Borg
  Namun di v1, abstraksi backend belum cukup baik sehingga sulit membuatnya dengan mudah
  Di v2, Thomas Waldmann sudah membuat antarmuka abstrak yang bagus, dan kode rclone selesai dalam kurang dari 300 baris Python, jadi bisa dibuat dalam satu-dua sore
  https://github.com/borgbackup/borgstore/blob/master/src/borg...

• Sangat menarik
  Ini fitur yang sudah lama diminta, terutama karena object storage makin populer dan biayanya makin rendah
  Borg bekerja dengan object storage sebelumnya bukan dukungan resmi, tetapi sebagian orang memang memakainya begitu
  Sepemahaman saya, kebanyakan orang mereplikasi repositori lalu mengunggahnya, alih-alih membiarkan Borg menulis atau memanipulasinya langsung; ini bermasalah karena jika repositori asli rusak, kerusakan itu juga bisa ikut direplikasi
  Dengan dukungan ini, semuanya tampaknya akan jauh lebih mudah dan workflow-nya lebih sederhana
  Memilih dukungan rclone alih-alih layanan tertentu tampak seperti pilihan yang lebih bijak dan future-proof

• Tulisan terkait
  Borg 2.0 beta (program backup deduplikasi dengan kompresi dan enkripsi) - https://news.ycombinator.com/item?id=40990425 - Juli 2024
  Borgctl – borgbackup tanpa skrip bash - https://news.ycombinator.com/item?id=39289656 - Februari 2024
  BorgBackup: Pengarsip deduplikasi dengan kompresi dan enkripsi - https://news.ycombinator.com/item?id=34152369 - Desember 2022
  Emborg – Front-End untuk Borg Backup - https://news.ycombinator.com/item?id=30035308 - Januari 2022
  Pengarsip Deduplikasi dengan Kompresi dan Enkripsi - https://news.ycombinator.com/item?id=27939412 - Juli 2021
  BorgBackup: Pengarsip Deduplikasi - https://news.ycombinator.com/item?id=21642364 - November 2019
  Borg – Backup terdeduplikasi dengan kompresi dan enkripsi terautentikasi - https://news.ycombinator.com/item?id=13149759 - Desember 2016
  BorgBackup (singkat: Borg) adalah program backup deduplikasi - https://news.ycombinator.com/item?id=11192209 - Februari 2016

• Penasaran apakah ada perbandingan terbaru antara Borg dan Restic, atau ada alasan kuat untuk pindah dari Restic ke Borg
  Dulu saya memakai Borg, tetapi keterbatasan tidak bisa memakai backend selain file lokal atau ssh menjadi masalah
  Saya pindah ke Restic saat Restic mulai mendukung kompresi
  Untuk kasus penggunaan saya, yaitu mem-backup beberapa server ke penyedia storage kompatibel S3, sekarang Restic dan Borg terlihat hampir setara
  Saya tidak ingin memperbaiki sesuatu yang tidak rusak, tetapi juga ingin tahu apa yang saya lewatkan dengan memakai Restic dibanding Borg

  • Saya lebih memilih restic karena lebih mudah dipahami dan digunakan
    Dengan begitu backup benar-benar terjadi
    Rasanya juga tidak terlalu terus berubah, dan saya tidak pernah menginginkan aliran fitur baru tanpa henti pada solusi backup

• Jika mencari storage backup online murah, perlu diketahui bahwa langganan Microsoft 365 Single mencakup OneDrive 1TB
  Langganan Family memberi 1TB per orang
  Saya sudah beberapa tahun berhasil memakainya dengan kombinasi restic + rclone
  Tidak cepat, tetapi berfungsi

  • Produk storage box dari Hetzner juga layak dilihat
    Storage 1TB yang bisa diakses lewat SSH seharga 4 euro per bulan sulit dikalahkan

• Penasaran kapan sebaiknya merekomendasikan Borg untuk penggunaan pribadi alih-alih rsync biasa
  Saat ini saya mem-backup sekumpulan direktori di drive ke drive lain dan layanan remote (rsync.net) dengan rsync
  Itu berjalan baik, tetapi karena use case saya sederhana, saya tidak yakin apakah solusi ini sudah cukup atau saya melewatkan keunggulan besar Borg
  Enkripsi Borg memang menarik, tetapi kompleksitas tool baru dan kekhawatiran bahwa saya mungkin merusak data membuat saya tidak mudah beralih
  Data yang akan di-backup saat ini sekitar 5TB, jadi tidak terlalu banyak

  • Dalam kasus saya, deduplikasi dan kompresi sangat menghemat ruang penyimpanan
    Backup email untuk 6 bulan terakhir sebanyak 17 backup aslinya 837GB, menjadi 312GB setelah kompresi, lalu 19GB setelah deduplikasi
    Postgres juga turun dari 25GB menjadi 7GB, lalu turun lagi menjadi 900MB
    Backup email mungkin juga bisa menghemat ruang dengan hard link rsync, tetapi saya tidak tahu apakah bisa sekecil ini tanpa penyesuaian tambahan
  • Masalah umum adalah jika sebuah file terhapus atau rusak lalu baru ketahuan dua hari kemudian, satu backup harian tidak akan membantu
    Memiliki beberapa snapshot sangat penting
    Materi seperti http://www.taobackup.com/ juga layak dirujuk
    rsync sangat lambat jika filenya banyak, dan tidak bisa menangani file yang namanya berubah sehingga harus mengirim ulang
  • Dengan rsync, yang direplikasi hanya kondisi terakhir
    Dengan Borg, Anda bisa melihat semua backup yang telah dibuat dan kembali ke titik mana pun dari snapshot sebelumnya
    Ini juga merupakan keunggulan yang dimiliki banyak solusi backup
    Secara konkret, jika Anda tidak sengaja menghapus file lalu kondisi itu tersinkronisasi dengan rsync, file tersebut tidak bisa dipulihkan dari backup itu
    Dengan Borg, bisa

• Penasaran apakah ada alasan untuk menggunakan enkripsi Borg dibanding rclone crypt, atau sebaliknya

  1. https://borgbackup.readthedocs.io/en/2.0.0b11/quickstart.htm...
  2. https://rclone.org/crypt/
  • rclone crypt tidak terlalu berkaitan dengan Borg
    Ini adalah alat untuk menyalin file dari satu mesin ke mesin lain, dan dalam kasus ini caranya adalah mengenkripsi sebelum menyalin
    Lebih mirip rsync yang dipakai bersama cloud
    Borg adalah jenis alat lain untuk backup
    Borg melakukan deduplikasi, enkripsi, snapshot, checksum, dan kompresi direktori sumber menjadi satu repositori
    Bekerja pada unit blok data, bukan unit file
    Juga mencakup perintah pengelolaan repositori sehingga bisa mencari data, membersihkan atau menggabungkan snapshot, dan sebagainya
    Setelah itu, untuk mentransfer atau menyinkronkan repositori ke tempat yang diinginkan, bisa memakai alat seperti rsync/SSH atau rclone
    Kini karena rclone didukung secara native, tidak perlu menaruh repositori di lokal sekaligus remote; bisa backup langsung ke lokasi remote
  • Juga penasaran perbedaan paket ini dengan Restic
    Ingin tahu bagaimana perbedaannya dari sisi efisiensi dan enkripsi
  • Penasaran seberapa baik deduplikasi bekerja saat enkripsi diaktifkan
    Saya sempat melihat rsync.net, tetapi sayang tidak mendukung enkripsi dengan cara yang masuk akal

• Sudah beberapa tahun memakai backup Borg di rsync.net dan puas
  Mereka mendukung fitur force-command untuk memaksa Borg pada sesi ssh, dan Borg memiliki opsi yang dapat mencegah penghapusan meskipun kunci ssh backup dicuri
  Secara keseluruhan, ini solusi yang kokoh tanpa konfigurasi yang terlalu menyakitkan

  • Saya sedang mencari solusi agar host yang disusupi tidak bisa menghapus backup-nya sendiri
    Seperti yang disebutkan, itu memungkinkan di rsync.net jika perintah dipaksa, dan snapshot rsync.net juga menjadi lapisan perlindungan agar tidak terhapus keliru secara tidak sengaja