- Kiwix menyatakan bahwa hosting dihentikan tanpa peringatan sebelumnya pada Minggu, 1 Desember 2024 pukul 00:00, sehingga akses ke pustaka dan unduhan file terblokir
- Penyebabnya adalah Hetzner membatalkan akun Kiwix dan mematikan semua server, dan Kiwix mengatakan mereka bahkan sudah memeriksa folder spam tetapi tidak menemukan pemberitahuan sebelumnya
- Pada Senin pagi mereka berhasil menghubungi Hetzner, tetapi tidak bisa memastikan alasan pembatalan, dan mendapat jawaban bahwa email yang diklaim telah dikirim Hetzner juga tidak bisa dikirim ulang
- Setelah data server sudah dihapus, Kiwix memulihkan sekitar 8TB dari mirror yang tidak terdampak dan mesin baru di Scaleway, dan butuh sekitar 48 jam untuk online kembali
- Bahkan email pembatalan yang dibagikan kemudian juga tidak mencantumkan alasan, dan Kiwix mengatakan insiden ini akan mendorong peninjauan pengaman baru dalam keterbatasan sumber daya
Layanan Kiwix terputus pada tengah malam Minggu
- Pada Minggu, 1 Desember 2024 pukul 00:00, hosting server Kiwix dihentikan tanpa pemberitahuan sebelumnya
- Kiwix menyatakan bahwa berdasarkan kejadian ini mereka tidak merekomendasikan layanan Hetzner Online
- Koneksi server terputus tepat pada tengah malam Minggu, dan Kiwix menilai hal ini tampak seperti penghentian layanan terjadwal dari pihak Hetzner
- Backend penyimpanan utama menjadi sama sekali tidak dapat diakses
- Pengguna umum tidak bisa mengakses pustaka atau mengunduh file
- Kiwix juga tidak bisa mengakses penyimpanan untuk memeriksa penyebabnya
Pembatalan akun dan data server yang langsung dihapus
- Setelah diperiksa, Hetzner ternyata telah membatalkan akun Kiwix dan mematikan semua server
- Kiwix tidak menerima peringatan sebelumnya, dan juga tidak menemukan pemberitahuan terkait di folder spam
- Pada hari Minggu tidak ada orang yang bisa dihubungi, dan baru pada Senin pagi Kiwix berhasil menghubungi Hetzner
- Alasan pembatalan pada akhirnya tidak pernah dijelaskan
- Hetzner menjawab bahwa mereka telah mengirim email
- Kiwix meminta pengiriman ulang, tetapi Hetzner menjawab bahwa email tersebut tidak dapat dikirim ulang
- Sementara itu semua server sudah telanjur dihapus sehingga Kiwix mengatakan mereka tidak punya cara untuk memulihkan data dari sana
Pemulihan menggunakan mirror dan Scaleway
- Kiwix masih memiliki mirror yang tidak terdampak
- Mesin baru diamankan dari penyedia lain, yaitu Scaleway
- Setelah itu data segera mulai dipindahkan kembali ke server Master yang baru
- Secara keseluruhan perlu sekitar 48 jam untuk membuat kembali sekitar 8TB data online
Kerentanan operasional yang terungkap dan tindak lanjut
- Melalui insiden ini, Kiwix mengidentifikasi beberapa titik lemah
- Pada saat yang sama, mereka juga memastikan bahwa penanggung jawab infrastruktur dapat mengalihkan situasi dalam waktu yang relatif cepat
- Kiwix mengatakan bahwa dalam beberapa minggu atau bulan ke depan mereka akan meninjau cara menerapkan pengaman baru dalam batasan sumber daya yang ada
Email pembatalan yang dibagikan belakangan
- Setelah itu Hetzner membagikan email pembatalan
- Email tersebut hanyalah pemberitahuan singkat bahwa akun Kiwix akan ditutup pada akhir bulan berikutnya
- Tidak ada alasan pembatalan, dan menurut Kiwix redaksinya juga tidak memberi kesan bahwa Kiwix telah melanggar ketentuan layanan Hetzner
- Kiwix mengatakan email ini memungkinkan mereka menutup insiden tersebut dan melanjutkan ke depan
- Kiwix menambahkan bahwa mengumumkan masalah ini secara terbuka di internet terbukti efektif
1 komentar
Komentar Hacker News
Kalau bertanya kepada CTO apakah ada backup atau rencana B, sering kali jawabannya adalah, “Ada di AWS, kami juga melakukan backup di sana, dan perusahaan seperti AWS tidak mungkin bangkrut.”
Jadi saya bertanya lagi, apa yang terjadi kalau akun ditutup. Misalnya akun Anda bisa saja dikaitkan karena memakai nomor telepon yang sama dengan perusahaan yang menjual barang bermasalah di Amazon, atau seperti kasus beberapa tahun lalu ketika GCP salah mengklasifikasikan gambar di Drive lalu menutup akun
Backup harus berada di lokasi lain, dan Terraform juga harus sudah tervalidasi di penyedia cloud lain. Kalau tidak, berarti Anda mempertaruhkan seluruh perusahaan
Sebagai tambahan, ini bukan bermaksud menyalahkan Hetzner. Saya sudah memakainya lebih dari 20 tahun, dan selama itu memang pernah ada server individual yang dihentikan, tetapi belum pernah seluruh akun dibatalkan
Awalnya mereka menyuruh kami keluar dari on-premise dan bilang biaya bukan masalah, lalu berikutnya bilang harus netral terhadap cloud, tetapi saat tenggat makin dekat berubah menjadi “tidak usah pedulikan technical debt, buat saja bisa berjalan di AWS secepat mungkin”
Sekarang mereka ribut karena biaya AWS, jadi di atas pengembangan fitur dan pemeliharaan, kami sekaligus dibebani “netralitas cloud” dan “mengurangi biaya layanan di semua cloud”. Karena technical debt dan bug sangat banyak, keduanya jadi 10 kali lebih lambat
Saya harus segera mencari pekerjaan baru. Para eksekutif dan manajemen atas menjalankan perusahaan dengan sangat kacau. Setiap hari ada reaksi spontan dari seseorang yang terputus dari kenyataan atau hampir tidak memahami cara kerjanya, dan yang bertambah hanya masalah prosedural yang tidak banyak membantu menyelesaikan masalah nyata
Biasanya jawabannya semacam, “Itu kan tool bawaan, kenapa harus berasumsi itu rusak?” Lalu beberapa bulan atau beberapa tahun kemudian ketika mencoba pemulihan, baru ketahuan bahwa data yang benar-benar penting ternyata tidak pernah di-backup
Google Cloud awal tahun ini pernah secara tidak sengaja menghapus seluruh deployment cloud sebuah dana pensiun di Australia. Menurut saya, kalau benar-benar menginginkan backup yang kokoh, pada akhirnya itu harus bisa direduksi menjadi object storage, dan harus ditempatkan di cloud milik perusahaan lain
Selain itu, besar kemungkinan dibiarkan tanpa diuji lalu tidak berguna saat paling dibutuhkan
Saya memang sudah mengambil backup semuanya secara manual, tetapi ini benar-benar buruk
Saya menulis ini karena ada kabar yang tidak benar beredar soal kasus ini. Pada 30 Oktober 2024, kami mengirim pemberitahuan penghentian lewat email dengan mencantumkan tenggat sesuai ketentuan
Tim kami sudah beberapa kali berkomunikasi dengan pelanggan ini, dan kami juga memiliki catatan transmisi komunikasi. Anda bisa tenang: kami tidak menutup akun secara acak. Selalu ada alasan yang spesifik dan sah, seperti penyalahgunaan layanan atau pelanggaran ketentuan
Karena itu, harap patuhi ketentuan layanan: https://www.hetzner.com/legal/terms-and-conditions/. --Katie, Hetzner Online
Selama beberapa tahun terakhir, banyak orang di internet mengklaim bahwa Hetzner menutup akun mereka tanpa memberi alasan. Saya menduga kebanyakan dari mereka sengaja menghilangkan sebagian detail agar tidak terlihat seperti pelanggaran ketentuan
Namun sebagai pelanggan Hetzner, meski hanya pelanggan kecil, saya ingin tahu bahwa keluhan-keluhan seperti itu tidak berdasar dan bahwa perusahaan ini masih bisa dipercaya
Seharusnya kalian punya alamat kami, tapi kalau-kalau “hilang”, mohon teruskan email tertanggal 30 Oktober itu ke contact @ kiwix.org
Di bawah ini adalah titik awal kami, dan dengan nomor referensi seharusnya mudah ditemukan:
Apalagi jika pemberitahuannya hanya lewat email, tanpa konfirmasi penerimaan dan tanpa mencoba jalur kontak lain. Apakah menghapus data secara permanen begitu layanan dihentikan merupakan prosedur standar perusahaan Anda?
Backup bukan inti masalah di sini. Tentu saja backup itu penting, tetapi jika Hetzner benar-benar menghapus data operasional tanpa peringatan atau masa tenggang untuk migrasi, maka itu bukan fondasi yang cukup stabil untuk dibangun di atasnya
Karena alasan seperti ini saya tidak pernah menjadi pelanggan Google Cloud, dan sampai Hetzner menjelaskan dengan jelas apa yang salah dan apa yang akan mereka lakukan agar kesalahan seperti ini tidak terulang, saya tidak akan men-deploy server baru di Hetzner
Hetzner, sekarang bolanya ada di pihak kalian
Pernyataan “bolanya ada di pihak Hetzner” juga belum tentu begitu. Kalau membaca ketentuannya, ada bagian yang menyatakan mereka bisa melakukan apa saja terhadap server
Di klausul 2.7 tertulis, “Selain itu, kami berhak mengakhiri hubungan kontrak tanpa pemberitahuan jika ada alasan yang sah”
Server mana pun dari perusahaan mana pun bisa melakukan hal yang sama. Ada banyak cerita bahwa Amazon pernah melakukan hal serupa, begitu juga Google
Kalau bukan colocation atau hardware yang Anda miliki sendiri, Anda bisa kena dalam berbagai cara. Saya tidak akan pernah sepenuhnya mempercayai host dedicated server
Keluhan bahwa Hetzner menghentikan server seseorang biasanya karena mereka meng-hosting konten yang melanggar ketentuan layanan atau alasan serupa
Namun kali ini tampaknya ini soal Kiwix, yang merupakan semacam “Wikipedia offline” dalam berbagai bentuk, dan tampaknya tidak terkait dengan konten yang bermasalah
Pada akhirnya saya rasa sudut pandang pihak Hetzner juga akan muncul. Biasanya, kalau pihak lain mulai menulis secara terbuka, Hetzner juga cenderung mulai menulis secara terbuka tentang masalahnya
Secara pribadi, saya sudah memakai Hetzner selama bertahun-tahun dengan puas, dan tidak pernah mengalami masalah yang bukan karena kesalahan saya. Namun cerita bahwa server dihapus pada tengah malam hari Minggu waktu Berlin, datanya langsung dihapus, dan tidak ada cara pemulihan, terdengar cukup agresif. Untungnya, baik saya maupun Kiwix tampaknya punya mirror untuk data penting
Mungkin mereka menilainya begitu karena string di dalam nama file acak, atau seperti kasus sebuah instance Mastodon baru-baru ini, Hetzner menganggapnya berisiko hanya karena pengguna bisa mengunggah gambar. Fitur seperti ini umum, dan mereka punya moderasi serta strategi untuk bertindak jika konten ilegal diunggah, tetapi staf yang meninjau hari itu terlalu sensitif dan tidak ada sarana untuk mengajukan keberatan
Pengguna terlebih dahulu mengunduh Kiwix atau ekstensi browser, lalu mengunduh konten untuk dibaca offline melalui Kiwix [1]
“Backend penyimpanan utama kami menjadi sepenuhnya tidak dapat diakses. Bagi pengguna biasa, ini berarti mereka tidak bisa mengakses library dan mengunduh file; bagi kami, ini berarti kami bahkan tidak bisa terhubung untuk melihat apa yang salah” [2]
Mungkin beberapa foto aneh diunggah ke Wikimedia, lalu tersinkronisasi otomatis ke server Hetzner dan memicu alarm
Bagian ketika Hetzner menghapus data sulit untuk dinilai, tetapi fakta bahwa mereka tidak benar-benar berusaha menghubungi tim Kiwix adalah respons yang sangat buruk. Padahal mereka seharusnya tahu bahwa ini tim yang berusaha melakukan hal baik bagi dunia. Ini sejenis dengan Google yang memblokir akses akun pengguna tanpa sepatah kata pun, atau perusahaan Jerman yang menggugat peneliti yang melaporkan kerentanan keamanan
Hetzner seharusnya malu
[0] https://en.wikipedia.org/wiki/Kiwix#Available_content
[1] https://en.wikipedia.org/wiki/Kiwix#Description
[2] https://mastodon.social/@kiwix/113622081750449356
Tunggu, apakah Hetzner benar-benar menghapus semua data tanpa peringatan?
Ini benar-benar gila dan bisa membunuh bisnis. Bisa sangat merusak, baik bagi reputasi Hetzner maupun bagi pelanggan
Namun karena murah, dan kebanyakan orang mungkin tidak akan menemukan keluhan online saat mencoba mencari tahu tentang perusahaan ini, sayangnya tampaknya belum ada dampak besar
Kenyataan bahwa Hetzner punya wewenang seperti itu dan bisa menghapus data hingga tidak dapat dipulihkan terasa menakutkan
Tahun lalu saya pernah salah mengatur port pada layanan Docker, lalu seseorang mengeksploitasinya untuk menjalankan port scanner. Karena saat itu saya sedang tidak di rumah, kalau saya tidak sempat melihat email penyalahgunaan layanan tepat waktu, saya bisa saja pulang beberapa hari kemudian dan mendapati semua data sudah dihapus atau monitor uptime saya heboh
Perusahaan-perusahaan Jerman punya dukungan pelanggan yang buruk. Bahkan di dalam EU sekalipun
Karena tidak punya akun Mastodon untuk menjawab langsung, saya tinggalkan ini untuk orang yang perlu mendengarnya
Saya juga pernah mengalami masalah konten diturunkan oleh penyedia VPS
Cara yang berjalan baik adalah memakai penyedia VPS yang tidak terlalu dikenal publik. Untuk sementara saya memakai OVH karena bandwidth tak terbatas serta karena Wikipedia dan Julian Assange memakai OVH. Saya tidak tahu apakah masih begitu sekarang, dan setelah itu saya memindahkan konten ke ENS dan IPFS
Bagaimanapun, di mana pun konten sebenarnya di-hosting, saya menjadikan server “asli” saya sebagai sumber konten dan menyembunyikannya agar tidak terlihat dari luar. Saya menguncinya dengan firewall sehingga hanya bisa diakses dari server proxy Squid yang bisa dibuang, dengan file konfigurasi 10 baris
Lalu saya mengarahkan DNS, Cloudflare, dan sebagainya ke node Squid, dan tidak peduli kalau node-node itu turun. Karena saya bisa menerapkannya lagi di tempat lain dalam beberapa menit
Bukannya ada “konten buruk”, hanya saja ada pesaing bisnis tanpa ampun yang terus menyerang seperti Tonya Harding. Konten Anda juga tidak tampak seagresif itu, jadi saya bagikan
Di node VPS depan, cukup masukkan alamat konten sebenarnya sebagai origin jarak jauh. Dengan begitu tidak ada yang tahu lokasinya selain Anda
Maka umumnya perusahaan hosting pun tidak akan tahu itu apa, kecuali mereka membongkar-bongkar file. Jika mereka melakukannya, mereka juga tamat
Anda boleh meneruskan ini sebagai cara menghindari sensor, atau menyimpannya sendiri seperti informasi eksklusif. Kalau perlu contoh konfigurasi Squid, beri tahu saya. Benar-benar paling banyak 10 baris, dan ada banyak contoh di Google
Latensi juga jauh meningkat, titik kegagalan bertambah, dan IP “depan” harus disinkronkan ke server “asli” agar akses diizinkan. Selain itu, Anda harus mencari dua penyedia tepercaya, masing-masing untuk hosting “asli” dan hosting “depan”. Kalau memakai penyedia yang sama, masalah seperti di postingan awal akan muncul
Kalau ini berjalan baik untuk Anda, bagus dan selamat, tetapi sulit dikatakan ini menyelesaikan masalah banyak orang. Bahkan saya ragu apakah ini benar-benar menyelesaikan masalah Anda sendiri, dan pada dasarnya mirip memakai sesuatu seperti Cloudflare/Akamai tetapi dengan proxy yang dipasang manual di VPS
Ini bukan yang pertama:
Saya juga punya pengalaman negatif di sini. Jika seseorang mengajukan permintaan pelanggaran hak cipta, Hetzner tidak menghubungi pelanggan terlebih dahulu. Mereka langsung menurunkan server dan menuntut jawaban
Jelas itu bukan prosedur yang waras, dan saya tidak bisa merekomendasikan Hetzner untuk sistem operasional apa pun
Setiap kali melihat tulisan tentang Hetzner di HN, saya kesal. Perusahaan seperti ini seharusnya masuk daftar hitam, bukan dipromosikan
Saya juga penasaran situs webnya tentang apa. Saya juga pernah mendapat pemberitahuan bahwa saya harus menjawab dalam 24 jam atau server akan dihapus. Namun karena saya selalu menjawab dan mematuhi, server tidak pernah dihapus
Jika tidak diturunkan, masalahnya turun ke pihak infrastruktur. Anda bisa menurunkan postingan, tetapi penyedia hosting tidak bisa hanya menurunkan postingan; mereka bisa menurunkan server. Dan mereka memang harus melakukannya. Kalau tidak, mereka berisiko terkena denda atau penjara
Sekarang kita perlu tahu cerita lengkapnya. Apakah ada tautan permintaan takedown DMCA yang dipublikasikan, dan permintaan itu benar-benar diproses tetapi pelapor mengabaikannya lalu langsung pergi ke Hetzner? Atau apakah Anda menjalankan server konten buatan pengguna sambil asal-asalan berpikir “mungkin tidak apa-apa”?
Saya tidak mengatakan Anda salah, tetapi Anda hanya menceritakan bagian yang sangat kecil dari kisahnya
Hetzner membekukan akun saya karena saya berutang 0,02 euro
Saya tidak bisa membayar dengan kartu kredit VISA, kartu debit VISA, atau Amex, dan mereka meminta transfer bank. Namun bank saya tidak mengizinkan transfer 0,02 euro karena jumlahnya terlalu kecil
Semata-mata karena keras kepala, saya membangun pusat data sendiri
Kalau ada detail yang bisa dibagikan, saya ingin mendengarnya
Orang-orang mungkin tidak suka mendengarnya, tetapi dukungan Hetzner memang buruk
Kami mempertahankan akun selama 2 tahun dan menggunakan beberapa server lelang, dan beberapa kali harus menghubungi dukungan; setiap kali mereka memulai percakapan dengan “itu bukan sesuatu yang bisa kami bantu”
Katanya mereka hanya membantu jika ada kerusakan, tetapi bahkan untuk masalah teknis nyata seperti NVMe yang melambat sampai hampir berhenti atau masalah jaringan sementara, sebisa mungkin mereka bersikap seperti “kami tidak peduli”
Karena itu kami menutup akun bulan lalu
Saya bahkan tidak bisa membayangkan rasa sakit seperti apa yang akan datang jika mereka menghapus seluruh data kami seperti yang mereka lakukan kepada OP