Meng-hosting langsung S3 10TB dengan laptop Framework dan disk

 (jamesoclaire.com)
14 poin oleh GN⁺ 2025-10-07 | 3 komentar | Bagikan ke WhatsApp
  • Membangun storage S3 sendiri dengan memanfaatkan laptop Framework dan JBOD, mengoperasikan kapasitas 10TB dengan biaya rendah, dan tetap berjalan stabil selama 4 bulan tanpa pengelolaan
  • Memakai laptop Framework bekas tanpa layar dengan memasang ZFS dan garage S3 sebagai server rumahan, digunakan sebagai storage berkapasitas besar untuk proyek pelacakan SDK AppGoblin
  • Setelah 4 bulan sama sekali tidak memperhatikan server, saat login terlihat bahwa 10TB telah terpakai dan sistem sedang menunggu upgrade; setelah restart, semuanya tetap berfungsi normal
  • Proses upgrade garage S3 dari v1 ke v2 juga selesai tanpa masalah, memberi pengalaman operasional yang stabil
  • Ada masalah awal pada konfigurasi ZFS nonstandar yang menghubungkan laptop dan JBOD lewat USB, tetapi terselesaikan setelah metadata dipindahkan ke penyimpanan internal laptop

Latar belakang dan motivasi proyek

  • Memutuskan untuk self-hosting S3 5 bulan lalu
    • Sedang menjalankan pelacakan SDK untuk 100 ribu aplikasi Android dan iOS teratas milik AppGoblin
    • Membutuhkan ruang penyimpanan besar, tetapi ingin menekan biaya
    • Memilih pendekatan self-hosting alih-alih cloud S3 yang sudah ada

Konfigurasi perangkat keras

  • Memanfaatkan laptop Framework
    • Membeli laptop Framework bekas tanpa layar dengan harga murah
    • Karena merupakan model lama, perangkat ini cocok digunakan sebagai server rumahan
    • Memanfaatkan portabilitas dan karakteristik hemat daya dari laptop
  • Menambahkan JBOD (Just a Bunch of Disks)
    • Array disk eksternal untuk penyimpanan berkapasitas besar
    • Dihubungkan ke laptop melalui USB

Tumpukan perangkat lunak

  • Sistem file ZFS
    • Menyediakan integritas data dan fitur snapshot
    • Mengonfigurasi JBOD sebagai pool ZFS
  • garage S3
    • Solusi storage ringan terdistribusi yang kompatibel dengan S3
    • Proyek open source yang dikembangkan oleh Deuxfleurs
    • Menyediakan kompatibilitas API S3

Operasi tanpa pengelolaan selama 4 bulan

  • Setelah instalasi, server sama sekali tidak diperhatikan selama 4 bulan
    • Di tengah perjalanan, pekerjaan, dan kesibukan sehari-hari, S3 tetap terus digunakan
    • Tidak perlu memikirkan server sama sekali
  • Hal yang ditemukan setelah login
    • Ruang penyimpanan 10TB telah terpakai
    • Sistem dengan sabar menunggu restart untuk upgrade
  • Hasil restart
    • Menjalankan restart dengan tegang
    • Lega karena semuanya kembali berfungsi normal

Upgrade garage S3

  • Upgrade dari v1 ke v2
    • Menemukan upgrade mayor yang sudah menunggu
    • Proses upgrade berjalan tanpa masalah
    • Dinilai sebagai akhir pekan yang menyenangkan

Peringatan teknis dan solusi

  • Menyadari konfigurasi ZFS yang nonstandar
    • Menghubungkan laptop dan JBOD melalui USB adalah use case ZFS yang agak nonstandar
    • Menerima peringatan soal ini dari komunitas Reddit
  • Masalah awal yang muncul
    • Masalah ZFS muncul saat garage melakukan banyak operasi baca dan tulis
    • Pada konfigurasi awal, metadata SQLite juga disimpan di JBOD/ZFS
  • Penyelesaian masalah
    • Memindahkan metadata ke storage internal laptop
    • Setelah itu, masalah ZFS teratasi dan sistem berjalan stabil

Bacaan terkait

3 komentar

 
shakespeares 2025-10-07

Menantang diri untuk melakukan self-hosting saja sudah luar biasa.
 
rtyu1120 2025-10-07

Meskipun kisaran harganya sangat berbeda, sepertinya motherboard Framework telah menjadi Raspberry Pi modern.
 
GN⁺ 2025-10-07
Komentar Hacker News
  • Jika hanya ada mainboard tanpa layar, itu juga bisa dimasukkan ke casing khusus seperti dari CoolerMaster tautan casing Framework dari CoolerMaster
    • Ini benar-benar keren, tetapi yang ingin saya tekankan adalah laptop ini sendiri bekerja dengan sangat baik, tidak berisik, hampir tidak panas, dan konsumsi dayanya juga sangat bagus saat beban rendah; menurut saya itulah alasan laptop ini sangat cocok untuk penggunaan seperti ini
    • Saya membagikan tautan casing di marketplace Framework tautan casing marketplace Framework, saya pernah memasukkan mainboard lama ke casing ini saat upgrade, memasangnya di belakang monitor dengan mount VESA dan memakainya sebagai PC desktop, dan sekarang saya memakainya sebagai HTPC (home theater PC), sangat memuaskan
    • Rak mini 10 inci juga merupakan alternatif yang bagus DeskPi RackMate rak mini 10 inci
  • Saya lebih penasaran pada sisi teknisnya; bukan karena ingin menyalin persis, tetapi saya ingin tahu bagaimana konfigurasi pool ZFS-nya dibuat, apakah Garage mengatur semuanya sendiri, dan apakah ada mirror di dalamnya atau hanya pool-pool terpisah yang saling sinkron ke disk berbeda. Saya ingin membuat NAS murah dengan 2 disk USB, dan sedang mempertimbangkan apakah sebaiknya memakai mirror ZFS, membuat 2 pool terpisah lalu memakai salah satunya untuk backup, atau memakai SnapRAID dan mencampur hard disk lama untuk memaksimalkan pemanfaatan hardware
    • Jika Anda sedang bimbang antara mirror ZFS dan pool terpisah, dengan mirror Anda mendapatkan perlindungan bit rot dan pemulihan otomatis (scrub), serta kecepatan baca yang lebih cepat. Jika Anda punya dua hard disk dengan ukuran yang mirip, Anda juga bisa menambahkan mirror ZDEV ke pool yang sudah ada dengan ZFS, atau membuat pool backup baru. Yang penting hanya dua disk dalam satu mirror itu ukurannya mirip; semua disk di dalam pool tidak harus sama
    • Garage tidak terikat pada cara tertentu dan bisa bekerja dengan baik tanpa ZFS. Saya memasang ZFS secara terpisah di Ubuntu lalu memasang Garage. ZFS saya konfigurasikan sederhana saja sebagai RAID5/raidz1. Saya bukan ahli, tetapi karena utilisasi kapasitas mendekati 33%, saya sedang mempertimbangkan ulang bagian ini. Dari kegelisahan semacam ini, saya teringat komentar ajaib yang pernah saya lihat dulu di HN: “Saya merasa untuk sebagian data penting, kehilangan beberapa jam masih bisa diterima, jadi alih-alih mirror saya membuat dua pool 1-disk yang terpisah, mengambil snapshot di pool utama tiap beberapa jam lalu mengirimkannya ke pool backup lewat zfs send/recv.” Alur seperti ini tampaknya lebih cocok untuk kebutuhan saya, dan RAID5 awalnya dimaksudkan untuk mengantisipasi kegagalan satu disk, tetapi membuat konfigurasi yang sama di lokasi lain juga cukup mahal (~$1,000 USD) jadi belum sempat saya jalankan
  • Ini pertama kalinya saya tahu tentang Garage, dan cukup menarik. Di pekerjaan saya sering memakai S3, dan untuk backup homelab pribadi saya memakai borg dengan borgbase. Kali ini saya penasaran apakah mungkin memakai garage untuk menggabungkan node lokal dan AWS glacier agar bisa menyimpan library media besar secara redundan dengan murah, dan saya juga ingin tahu apakah semua traffic baca akan dilayani dari node lokal. Di TFA tidak banyak cerita pengalaman nyata memakai Garage, jadi saya ingin mendengar pendapat orang-orang yang benar-benar memakainya untuk tujuan self-hosting. Edit: saya baru tahu ternyata tidak bisa dipakai dengan glacier, karena harus di-mount sebagai file system pada instance EC2 yang menjalankan binary Garage; lebih baik cukup menjadwalkan backup ke glacier dengan borg/restic
    • Alternatif lain adalah ZeroFS, yang bisa menyimpan data langsung ke S3 ZeroFS GitHub
    • Anda bisa menghubungkannya dengan AWS S3 dan menerapkan lifecycle policy yang agresif agar data otomatis dipindahkan ke glacier setelah waktu singkat. Saya pernah menyiapkan seperti ini di tempat kerja lama, membuat data berpindah dari standard ke glacier setelah beberapa hari. Kalau saya di posisi Anda, saya akan menetapkan X menjadi 1 hari
    • Saya sendiri tidak perlu berurusan langsung dengan Garage; alat S3 API seperti awscli, s3cmd, rclone, dan Boto3 sudah cukup untuk memanfaatkannya. Garage disetel dengan mudah hanya lewat beberapa perintah, lalu setelah dijalankan ia bekerja sendiri tanpa masalah selama 4 bulan. Dari sisi ini saya sangat puas
  • Saya hanya ingin berbagi contoh self-hosting yang tenang namun sukses
    • Saya penasaran apakah JBOD ini memakai SSD, karena kalau jumlah HDD sebanyak itu, suaranya bisa cukup bising
    • Dulu rasanya aneh sekali bahwa “memiliki komputer sendiri dan menjalankan sesuatu di atasnya” disebut dengan istilah ‘self-hosting’. Rasanya seperti sekarang semua komputer adalah milik orang lain, sehingga kita perlu secara khusus menyebut ketika kita benar-benar memakainya sendiri
  • Saya merasa akan lebih aman memakai Dell T30 lama dengan 2 Seagate Exos 10TB dalam ZFS RAID1 (mirror). Pendekatan yang diusulkan ini terasa akan membuat saya cemas terus setiap saat meskipun backup dilakukan setiap hari. Dell T30 juga tidak sepenuhnya menenangkan, tetapi setidaknya lebih mudah memindahkan disk ke perangkat lain dan lebih kecil kemungkinan kabelnya gampang terlepas. Meski begitu, Garage tampak cukup bagus, jadi terima kasih
    • Saya juga sudah cukup lama memakai ZFS, dan sampai pada kesimpulan bahwa untuk banyak data, kehilangan beberapa jam masih bisa diterima. Jadi alih-alih mirror, saya membuat dua pool 1-disk yang terpisah, dengan struktur snapshot otomatis tiap beberapa jam di pool utama ⇒ direplikasi ke pool backup lewat zfs send/recv. Berkat ini, saya bisa lebih fleksibel mencampur disk (misalnya yang satu SSD, yang lain HDD, dan sebagainya), walaupun tentu ada kompromi pada kecepatan baca dan waktu ketersediaan. Ada juga cara memakai hard disk eksternal sebagai disk backup dan menghubungkannya setiap beberapa hari. Untuk data penting saya punya pool RAID terpisah yang dimirror. Banyak tulisan tentang ZFS terlalu fokus pada RAID, dan saya rasa informasi tentang konfigurasi minim hardware seperti yang saya sebut di atas masih kurang
  • Saya tidak yakin Framework memberi nilai tambah khusus di sini; saya meng-host pada tingkat yang mirip dengan RPi5 yang dipasangi beberapa disk. Saya memakai lvm2 alih-alih ZFS, dan itu berjalan baik di RPi5. ZFS memakai terlalu banyak RAM sehingga kurang cocok untuk tujuan ini
  • Saya sangat suka Garage, benar-benar jalan sendiri tanpa masalah. Saya menjalankan Garage di beberapa Odroid HC2 lama untuk backup k8s Velero, dan setelah setup hampir tidak perlu disentuh; dibiarkan saja pun tetap terawat sendiri
  • Senang melihat ada pembahasan tentang Garage. Saya juga sempat bimbang antara Garage dan SeaweedFS saat memilih alternatif self-hosting yang kompatibel dengan S3; menurut pengalaman saya, SeaweedFS lebih nyaman karena membutuhkan lebih sedikit konfigurasi manual dibanding Garage
  • Hasil yang keren, saya juga sedang mencoba mengganti mainboard Framework dan memanfaatkannya khusus untuk backup NAS. Saya ingin mendengar lebih detail tentang setup zfs-nya; saya ingin memakainya hanya sebagai ruang khusus snapshot, tetapi saya khawatir soal kecepatan koneksi USB dan risiko kehilangan data kalau terlepas tanpa sengaja
  • Ada diskusi lama tentang Garage Diskusi Sebelumnya di Hacker News