Pernyataan tentang gangguan SourceHut yang sedang berlangsung

Ketersediaan layanan saat ini

• sr.ht: offline
• meta.sr.ht: offline
• git.sr.ht: offline
• hg.sr.ht: offline
• todo.sr.ht: offline
• lists.sr.ht: offline
• paste.sr.ht: offline
• man.sr.ht: offline
• pages.sr.ht: offline
• builds.sr.ht: offline
• chat.sr.ht: offline
• Penyimpanan objek saat ini tidak tersedia, sehingga rilis yang dilampirkan ke tag git dan hg juga saat ini tidak dapat digunakan.
• hg.sr.ht memiliki masalah performa yang diketahui serta masalah terkait hg clone, dan karena dikelola oleh komunitas, pekerjaan pemulihan ditangguhkan sampai maintainer komunitas dapat terlibat.

Pembaruan 2024-01-13 14:17 UTC

• Perlu mencari penyedia transit baru, dan sedang bernegosiasi dengan penyedia untuk memitigasi masalah.
• Pekerjaan rekayasa akan segera dimulai, dan akan ada pemberitahuan jika ada pembaruan tambahan.

Pembaruan 2024-01-13 13:00 UTC

• Penyedia transit baru memberi tahu bahwa serangan DDoS mengikuti ke jaringan baru.
• Penyedia telah menerapkan langkah mitigasi, dan tidak diperkirakan akan ada gangguan layanan.

Pembaruan 2024-01-13 12:40 UTC

• Layanan email untuk lists dan todo telah dipulihkan.
• Email yang tertunda selama masa gangguan kini akan kembali diproses, dan diyakini tidak ada email yang hilang.

Pembaruan 2024-01-13 11:42 UTC

• pages.sr.ht dimasukkan ke layanan dalam mode hanya-baca.
• Semua domain kustom seharusnya segera berfungsi, kecuali domain kustom yang menggunakan apex record.
• Pengguna yang terdampak memerlukan intervensi manual.

Pembaruan 2024-01-13 11:00 UTC

• Akses baca/tulis telah diaktifkan untuk sebagian besar layanan.
• hg masih hanya-baca, dan todo serta lists memproses permintaan di web tetapi sistem emailnya masih dalam proses.

Pembaruan 2024-01-13 09:26 UTC

• hg.sr.ht dinaikkan ke mode hanya-baca.
• Sedang dikerjakan pengaktifan baca/tulis untuk layanan yang tersedia hari ini.
• Pekerjaan untuk mengambil selisih dari cadangan git.sr.hg telah selesai, dan selisih untuk hg juga akan segera dirampungkan.

Pembaruan 2024-01-12 20:49 UTC

• Sedang mengerjakan tahap akhir untuk target hari ini.
• 7 layanan utama dijalankan dalam mode hanya-baca.
• Masalah sebelumnya terkait git clone/fetch juga telah diselesaikan.

Pembaruan 2024-01-12 16:38 UTC

• todo dan lists diaktifkan online dalam mode hanya-baca.

Pembaruan 2024-01-12 16:13 UTC

• Mulai membawa beberapa layanan kembali online.
• meta dan git akan tersedia seiring propagasi DNS.

Apa itu SourceHut?

• SourceHut adalah perusahaan yang didirikan oleh Drew, dan saat ini sedang mengalami gangguan.
• SourceHut yang dikenal akan keandalannya kini mengalami gangguan paling serius dan paling lama sejauh ini.
• Tim SourceHut mengerahkan segala upaya untuk memperbaiki masalah dan memulihkan layanan secepat mungkin.

Apa yang sedang terjadi?

• Pada 10 Januari pukul 06:30 UTC, serangan distributed denial-of-service (DDoS) terhadap SourceHut dimulai.
• SourceHut dapat menangani serangan DDoS biasa, tetapi serangan kali ini begitu besar sehingga melampaui kemampuan mitigasi mereka sendiri.
• Penyedia jaringan upstream memblokir SourceHut sepenuhnya sehingga baik internet maupun staf SourceHut tidak dapat mengakses server.
• Data center PHL terdampak, dan SourceHut menyewa ruang kolokasi dari penyedia PHL.
• Setelah penyedia PHL mengalami dua kali akuisisi, akun SourceHut terlewat saat migrasi sistem tiket, yang menyebabkan keterlambatan awal dalam menghubungi penyedia.
• Ketersediaan SourceHut sempat pulih sebagian pada malam 10 Januari, tetapi ketika DDoS meningkat pada awal 11 Januari, penyedia kembali memberlakukan pemblokiran.

Tindakan apa yang kami ambil?

• SourceHut memelihara tiga site (PHL, FRE, AMS), dan PHL adalah site utama yang saat ini offline.
• Karena sama sekali tidak bisa mengakses PHL, pemulihan dari cadangan dimulai di AMS untuk pemasangan paralel SourceHut.
• Prospek terkait kehilangan data pengguna terlihat baik, dan cadangan berjalan serta diuji secara berkala.
• Layanan SourceHut sedang dipulihkan di AMS, dan meta, todo, lists, paste, serta project hub berfungsi penuh dengan data lingkungan produksi.
• Prioritas diberikan pada pemulihan layanan seperti git.sr.ht, hg.sr.ht, pages.sr.ht, chat.sr.ht, man.sr.ht, dan builds.sr.ht.
• Tujuannya adalah mengaktifkan akses hanya-baca untuk komunitas secepat mungkin, lalu memulihkan akses baca/tulis penuh.

Bagaimana cara membantu?

• Hal yang paling dibutuhkan adalah kesabaran dan pengertian.
• Memitigasi serangan seperti ini ibarat maraton, dan harus berhati-hati agar staf tidak dipaksa bekerja berlebihan.
• Pembaruan dan dukungan dapat dibagikan di Mastodon dan kanal IRC #sr.ht di Libera Chat.

Pendapat GN⁺:

1. Situasi SourceHut saat ini adalah peristiwa penting bagi komunitas open source dan para pengembang, menunjukkan kerentanan bahkan pada layanan yang andal serta pentingnya rencana respons darurat.
2. Insiden ini menekankan tingkat keseriusan serangan DDoS dan kebutuhan perusahaan untuk bersiap menghadapi serangan siber berskala besar.
3. Komunikasi transparan dari tim SourceHut dan upaya mereka untuk menyelesaikan masalah memberi kepercayaan kepada pengguna, serta menunjukkan bahwa dukungan dan kesabaran komunitas memainkan peran penting.

[GN⁺]

Komentar Hacker News

• Layanan yang mereka operasikan baru-baru ini terkena serangan DDoS, dan tepat sebelumnya sebuah lembaga kepolisian India meminta data pengguna tertentu
  Mereka mengklaim itu terkait terorisme, dan ketika dijelaskan bahwa menurut kebijakan di yurisdiksi kami diperlukan proses hukum yang panjang, layanan itu tumbang dalam hitungan jam dan gangguannya berlanjut sekitar 12 jam
  Tidak ada tuntutan tebusan, dan kemungkinan penyebabnya hanya tiga: polisi/pemerintah India, pengguna yang dimaksud, atau kebetulan belaka
  Kalau mengalami hal seperti ini, rasanya jadi berpikir “hal seperti ini seharusnya tidak boleh terjadi”, dan terlihat jelas bahwa ini adalah permainan yang terlalu menguntungkan pihak yang lebih kuat, baik jika dibiarkan maupun jika dihadapi langsung

  • Saya penasaran seberapa yakin mereka bahwa permintaan itu benar-benar datang dari polisi India
    Bukankah mungkin saja itu orang lain yang bereaksi irasional karena gagal mendapatkan data yang diinginkan?
  • Kami juga baru-baru ini kena DDoS, dan setiap kali itu terjadi saya bertanya-tanya siapa yang diuntungkan, atau apakah memang ada yang cukup peduli pada kami
    Bisa jadi pesaing, orang iseng, atau pelanggan yang kesal, dan kemungkinan besar kami tidak akan pernah tahu
  • Penting untuk tahu lembaga kepolisian yang mana
    Ada juga organisasi paramiliter dan keamanan dalam negeri seperti CRPF atau ITBP yang memakai kata “Police” dalam namanya, dan kalau itu berada di bawah MHA, maka masuk kategori “keamanan nasional” jadi tidak terlalu mengejutkan
  • Yang mengejutkan adalah layanan itu rupanya belum punya perlindungan DDoS dalam bentuk apa pun
    Untuk layanan publik, ini nyaris sudah jadi standar selama 10–20 tahun terakhir, dan untuk layanan kecil Cloudflare juga gratis atau murah, selain masih ada banyak pilihan lain
    Lebih tepat berasumsi bahwa layanan baru bisa saja langsung terkena DDoS acak setelah diluncurkan, dan sekalipun tahu siapa penyerangnya, peluang untuk melacak dan menghukumnya hampir nol
    Kesimpulan yang bisa diambil di sini bukan “hal seperti ini seharusnya tidak boleh terjadi”, melainkan lebih ke “ini sudah umum selama puluhan tahun dan akan terus terjadi, jadi bersiaplah untuk langkah berikutnya”
    Entah itu lembaga daerah yang korup atau script kiddie, selama separuh dunia masih terhubung lewat perangkat yang buruk, DDoS akan terus terjadi
  • Saya rasa kecil kemungkinan polisi India cukup kompeten untuk melakukan DDoS terhadap layanan itu

• Pada minggu pertama saya bekerja di [layanan hosting kode publik besar], kami diserang oleh [aktor tingkat negara], kemungkinan karena kami meng-host sesuatu yang tidak disukai [negara] itu
  Fakta bahwa SourceHut dan Codeberg mendapat perhatian seperti ini juga merupakan tanda yang menggembirakan bahwa layanan hosting kode alternatif mulai mendapatkan daya tarik nyata

  • Saya penasaran bagaimana mereka tahu bahwa itu [negara] tersebut
    Saya tidak tahu apakah ada ancaman yang jelas atau pesan tuntutan seperti “kalau tidak melakukan ini...”

• Menarik jadi tahu kenapa HN ikut tumbang
  Isinya menyebut, “Anda mungkin melihat Hacker News sempat down pada 10 Januari; kami menduga itu akibat Cogent bereaksi terlalu agresif saat memitigasi DDoS yang menargetkan SourceHut”
  Itu juga ada di https://news.ycombinator.com/item?id=38939532, tapi sebelumnya saya belum melihatnya

  • Saya bingung dengan maksud bahwa Cogent melakukan blackhole pada alamat IP SourceHut, lalu bagaimana itu bisa memengaruhi alamat IP HN
    Keduanya berada pada alokasi IP dan ASN yang sepenuhnya terpisah
  • Ada titik di mana satu-satunya pilihan tersisa untuk pertahanan DDoS hanyalah remote-triggered blackholing pada router perbatasan
    Akibatnya, seluruh jaringan /24 tidak lagi dirutekan ke jaringannya sendiri dan malah dibuang di sisi peer
  • Mengingat Drew tidak terlalu menyukai Hacker News, agak mengejutkan juga dia tetap memasukkan penyebutan seperti itu

• Sayang sekali tim harus menangani hal seperti ini, tetapi saya ingin memberi apresiasi karena ini contoh yang sangat baik dalam hal cara berkomunikasi dengan pelanggan

• Semoga staf sr.ht berhasil menyelesaikan migrasi AMS dengan baik
  Untungnya git cukup terdistribusi sehingga selama beberapa hari terakhir pada dasarnya saya tetap bisa melakukan hampir semua pekerjaan, dan satu-satunya hal yang tidak bisa saya lakukan hanyalah mendorong rilis baru ke repositori upstream resmi

  • Karena SourceHut tidak terlalu menyembunyikan git send-email dari pengguna, pengembangan kolaboratif di platform itu punya struktur yang sangat memudahkan pekerjaan tetap berlanjut
  • Maksudnya migrasi ke AWS?
    Jika terkena DDoS di AWS, walaupun Amazon menyerap lalu lintasnya, Drew dan SourceHut kemungkinan besar tetap akan bangkrut
    Lagi pula mereka memang punya keberatan prinsip terhadap AWS sejak awal

• Melihat bagian yang menyebut “kami sudah berbicara dengan CloudFlare, tetapi mereka memberi angka yang sulit kami tanggung secara finansial”, saya jadi berpikir mungkin ada orang tingkat atas di Cloudflare yang bisa mengangkat kasus ini dan membantu memberi penawaran yang sesuai

  • Banyak orang tampaknya tidak menyadari bahwa cukup banyak layanan gratis/murah Cloudflare berfokus pada HTTP
    Fitur yang menangani berbagai protokol lain ada di paket enterprise, yang memang menjadi sumber pendapatan mereka
  • Hanya karena penawarannya mahal bukan berarti itu bukan penawaran yang sesuai
    CloudFlare bisa saja menanganinya gratis demi publisitas, atau kalau tidak ya memang harus menagih biaya sesuai penawaran yang semestinya
  • Saya tidak mengerti kenapa kita harus berharap Cloudflare menanggung biaya itu untuk SourceHut
  • Bisa jadi karena harga Cloudflare Spectrum untuk melindungi layanan non-HTTP seperti SSH memang sangat mahal
  • Saya penasaran kenapa mereka tidak mempublikasikan penawarannya
    Bisa saja perusahaan lain menawarkan syarat yang lebih baik

• Jika Godot, Codeberg, dan SourceHut semuanya terkena, apakah ada situs lain juga?
  Kelihatannya seseorang sedang menargetkan situs web terkait open source

  • Bisa jadi seseorang sedang mendemonstrasikan kemampuan DDoS miliknya untuk menjual kapasitas kepada pembeli jahat

• Saya penasaran apa biasanya motivasi di balik serangan DDoS
  Rasanya pasti ada sesuatu yang didapat, mengingat ada risiko pidana, dan dalam kasus ini pemerasan maupun sabotase pesaing sama-sama tidak terlalu meyakinkan

  • Sering kali sesederhana individu yang tidak stabil yang merasa telah diperlakukan tidak adil oleh korban lalu menyewa serangan
    Salah satu alasan besar Discord menjadi populer juga karena Skype dan Teamspeak mengekspos alamat IP, dan alasan yang sama pula membuat sebagian besar game online berhenti memakai jaringan P2P langsung
  • Penyebabnya beragam, mulai dari script kiddie, aktor negara, sampai botnet yang salah konfigurasi
    Motivasinya sering kali mirip dengan alasan banyak hal ditulis ulang: “karena bisa” atau “karena ada”
    Saya bukan bagian dari kelompok semacam itu, tetapi melihat sejarah dan berita, banyak kasus melibatkan orang-orang yang masih di bawah usia tuntutan dewasa atau berada di negara yang tidak punya kemauan penegakan hukum, sehingga risikonya kecil, dan bahkan kalau ada risiko pun banyak yang tidak percaya mereka akan tertangkap
  • Motivasinya bisa berupa tebusan, menyingkirkan pesaing, atau penyensoran
    Misalnya menyerang situs judi, atau pemerintah Tiongkok yang secara berkala menargetkan GitHub karena meng-host perangkat lunak VPN
  • Saya penasaran apakah pernah ada kasus orang benar-benar dituntut karena DDoS
  • Alasan yang paling jelas mungkin adalah seseorang tidak menyukai sebagian kode yang diunggah ke situs itu, dan situs tersebut cukup mudah untuk dijatuhkan
    Bisa juga ada semacam peringatan ringan yang lebih dulu diberikan dan tidak kita ketahui

• Codeberg juga tumbang karena DDoS sekitar 12 jam yang lalu
  https://status.codeberg.eu/status/codeberg

  • Saya penasaran kenapa mereka mempertimbangkan pindah ke EU
    Layanan lain di kawasan yang sama tampaknya mengalami masalah serupa, jadi pindah ke Eropa pun sepertinya tidak akan menyelesaikannya, padahal hal seperti itu disebut dalam pengumuman publik mereka