Insiden Saat CrowdStrike Juga Merusak Debian dan Rocky Linux Beberapa Bulan Lalu

• Terpisah dari gangguan BSOD berskala besar di Windows, sebelumnya sudah ada kasus pembaruan CrowdStrike menyebabkan server berhenti beroperasi di lingkungan Debian dan Rocky Linux
• Pada April, di sebuah civic tech lab, tepat setelah pembaruan, semua server Debian Linux crash secara bersamaan dan menolak booting; pemulihan baru bisa dilakukan setelah CrowdStrike dihapus
• Konfigurasi Debian tersebut dianggap termasuk yang didukung, tetapi tidak kompatibel dengan versi stabil Debian terbaru, dan dalam analisis akar masalah ditemukan adanya kelalaian dalam matriks pengujian
• Pengguna Rocky Linux juga menyatakan bahwa setelah upgrade ke RockyLinux 9.4, server yang menggunakan CrowdStrike crash akibat bug kernel, dan tim dukungan CrowdStrike pun mengakui masalah tersebut
• Organisasi yang bergantung pada CrowdStrike perlu lebih berhati-hati dalam menerapkan pembaruan dan memiliki rencana darurat untuk menghadapi gangguan

---

Kasus gangguan Linux sebelum gangguan Windows

• Masalah Blue Screen of Death yang meluas pada PC Windows mengganggu operasional di berbagai sektor seperti maskapai, bank, dan penyedia layanan kesehatan
  • Penyebabnya adalah channel file bermasalah yang dikirim CrowdStrike melalui pembaruan
  • CrowdStrike memastikan crash ini tidak berdampak pada PC Mac atau Linux
• Namun pengguna Debian dan Rocky Linux juga mengalami gangguan signifikan akibat pembaruan CrowdStrike, yang memicu kekhawatiran terhadap prosedur pembaruan dan pengujian
  • Ini dapat menjadi risiko potensial bagi pelanggan yang setiap hari bergantung pada produk CrowdStrike

Masalah yang terkonfirmasi di Debian dan Rocky Linux

• Crash serentak pada server Debian

  • Pada April, di sebuah civic tech lab, pembaruan CrowdStrike membuat semua server Debian Linux crash secara bersamaan dan tidak bisa booting
  • Pembaruan tersebut tidak kompatibel dengan versi stabil Debian terbaru, tetapi konfigurasi Linux itu dianggap termasuk yang didukung
  • Tim IT memastikan bahwa mesin dapat booting jika CrowdStrike dihapus, lalu melaporkan insiden tersebut

• Respons yang terlambat dan pengujian yang terlewat

  • Seorang anggota tim yang terlibat dalam insiden tersebut menyatakan ketidakpuasan terhadap lambatnya respons CrowdStrike
  • CrowdStrike mengakui masalah itu sehari kemudian, tetapi butuh beberapa minggu untuk memberikan analisis akar masalah
  • Hasil analisis menunjukkan bahwa konfigurasi Debian Linux tersebut tidak termasuk dalam matriks pengujian CrowdStrike
  • Anggota tim itu mengkritik, “Model CrowdStrike tampaknya adalah mendorong software ke mesin kalian kapan pun kami mau, terlepas dari apakah itu mendesak atau sudah diuji.”

• Crash setelah upgrade Rocky Linux 9.4

  • Pengguna Rocky Linux menyatakan bahwa setelah upgrade ke RockyLinux 9.4, server yang menggunakan CrowdStrike crash akibat bug kernel
  • Tim dukungan CrowdStrike mengakui masalah ini
  • Masalah kompatibilitas yang berulang di sistem operasi berbeda menunjukkan pola kurangnya pengujian dan kehati-hatian

Hal yang perlu disiapkan organisasi

• Untuk mengurangi masalah serupa ke depan, CrowdStrike perlu memprioritaskan pengujian yang lebih ketat untuk semua konfigurasi yang didukung
• Organisasi harus menerapkan pembaruan CrowdStrike dengan hati-hati dan menyiapkan rencana darurat untuk memitigasi potensi gangguan
• Sumber terkait
  • Ycombinator
  • RockyLinux

[click]

Sepertinya AI merangkum iklannya, bukan isi artikelnya.

[xguru]

Situs Neowin memiliki struktur HTML yang aneh, jadi semua iklan di bilah atas terdeteksi sebagai isi artikel. Sudah saya perbaiki.

[GN⁺]

Opini Hacker News

• Mengejutkan bahwa ekosistem OSS/Linux, meski banyak berupa tumpukan kode yang disambung gratis oleh kelompok-kelompok independen yang terkoordinasi secara longgar, sering kali lebih tangguh daripada perangkat lunak buatan perusahaan bernilai miliaran dolar
  Salah satu alasannya mungkin karena para programmer sistem OSS mencuci pakaian kotor di depan umum. Bukan sekadar “dengan banyak mata, bug menjadi dangkal”, melainkan lebih dekat ke “kode buruk jadi memalukan hanya karena ada yang melihat”
  Saya sedang mencoba merilis sebuah proyek komersial sebagai open source, dan sebelum membuka source code, cukup banyak hal yang harus dirapikan seperti memperbaiki dokumentasi, membersihkan TODO/FIXME, dan memverifikasi komentar. Namun di dalam codebase komersial tertutup, saya sudah melihat banyak hal yang jauh lebih parah dari itu, dan rasanya sebagian besar enterprise software juga berada di level serupa

  • Perangkat lunak OSS hampir tidak memiliki motif laba, sehingga ditulis untuk membuat sesuatu “berjalan”, bukan untuk “menjual” sesuatu
    Tekanan waktu juga lebih kecil, jadi jika rilis mundur, itu tidak memengaruhi kinerja kuartalan. Menurut saya perangkat lunak komersial lebih mirip pekerjaan marketing daripada pekerjaan engineering
  • Linus mungkin tidak akan setuju, dan ada alasan mengapa kernel selalu memasang penghalang yang sangat besar. Ia akan menolak sebagian besar kode user space dengan alasan yang sah
    Bahwa apa pun di luar kernel bisa berjalan saja sudah seperti keajaiban, dan itu terlihat dari seberapa sering semuanya rusak setiap kali distro diperbarui, serta seberapa sering seluruhnya harus di-build ulang agar bisa berjalan lagi. Di production, update adalah prosedur yang sangat menegangkan
    Kita bahkan belum membahas audio dan video, dan jika Wayland ditambahkan di atasnya, itu menjadi mimpi buruk tersendiri. Karena itu, dalam banyak hal saya menganggap Windows lebih mendekati standar. Ia diperlakukan secara brutal dari segala arah, tetapi tetap menjalankan pekerjaan penting setiap hari di begitu banyak mesin
    Apakah seseorang mendapat kompensasi uang atau tidak bukan hal penting; kedalaman pengambilan keputusan yang tampak dalam tulisan Raymond Chen dan lainnya sangat jarang bahkan di dunia OSS
  • Hal-hal yang dibuat dengan bayaran tetapi keputusan akhirnya ditentukan oleh para MBA sering kali jauh lebih buruk dibanding proyek hobi atau proyek yang digerakkan oleh passion
    Saya rasa situasi seperti ini bukan hanya pengalaman saya, dan saya berharap komunitas yang membuat sesuatu karena ingin membangun hal yang berguna serta alat yang bisa mereka kendalikan terus ada
  • Tenggat waktu kemungkinan juga faktor besar. Banyak developer OSS membuat proyek di waktu luang untuk diri sendiri dan orang lain, dan jika itu proyek passion, mereka bisa lebih bangga pada pekerjaan mereka
    Perangkat lunak komersial sering terasa seperti disambung dengan duct tape demi memenuhi deadline dari manajer, sehingga sikapnya menjadi “ya sudahlah” dan orang puas hanya karena sudah selesai
  • Menyebut orang-orang yang menulis kode sebagai amatir menurut saya bukan deskripsi yang bagus. Sebagian besar kemungkinan adalah orang yang berpengalaman dan sangat teknis, dan “terkoordinasi secara longgar” juga berlaku untuk banyak perusahaan
    Hal pentingnya adalah orang-orang yang coding di open source sering melakukannya karena mereka peduli. Jika seseorang ingin membuat sesuatu menjadi bagus, berjalan baik, dan cerdas, peluang suksesnya lebih tinggi dibanding jika ia sekadar dibayar untuk melakukannya atau hanya ingin menghindari rasa malu

• Komentar terkait dari thread besar CrowdStrike kemarin: “CrowdStrike melakukan ini pada fleet Linux production kami pada 19 April, dan selama ini saya ingin terus rant soal itu” [1]
  Setelah itu berlanjut rant beberapa paragraf
  [1] https://news.ycombinator.com/item?id=41005936

  • Dalam analisis akar masalah yang keluar beberapa minggu kemudian pun, skenario yang kami pakai tidak ada di matriks pengujian. Padahal itu tampak seperti konfigurasi yang didukung, menjalankan versi n-1 di Debian stable
    Dalam postmortem internal mereka sendiri pun tidak ada cara nyata untuk mencegah hal yang sama terjadi lagi. Karena strukturnya adalah “kami akan mendorong perangkat lunak ke mesin Anda kapan pun kami mau, tanpa pengujian, terlepas dari apakah itu darurat atau tidak”
  • Ini bukan sekadar komentar terkait; thread HN ini tampaknya dipakai sebagai sumber utama dalam artikel tersebut

• Saat bekerja di bidang ini, saya selalu dibayangi pertanyaan “apakah hal-hal seperti ini benar-benar berguna?”
  Ini pertanyaan yang sulit dijawab, tetapi saya penasaran apakah ada studi pihak ketiga yang memverifikasi efektivitas produk seperti CrowdStrike. Atau jangan-jangan semua orang justru membuat hidup lebih buruk karena security theater

  • Mirip seperti mencoba meneliti efektivitas antivirus. Namun Anda pada dasarnya sudah menyebut jawabannya. Selama bisa menghasilkan metrik yang dapat dicerna jajaran eksekutif, itu dianggap bernilai
    Saya mempertanyakan bagaimana masuk akal menambahkan sesuatu yang begitu invasif. Pada tahun 90-an, vendor antivirus bahkan pernah membuat virus, lalu menyebarkan ciptaan mereka ke jaringan, sementara bagi pelanggan mereka secara ajaib mencegah infeksi
  • Saya penasaran apakah ada yang pernah melihatnya benar-benar mencegah sesuatu. Perusahaan yang membuat alat itu tentu juga memakai produknya sendiri
    Jika bertanya ke seluruh web “ada yang pernah melihat?”, pasti akan ada seseorang yang muncul, tetapi jumlah orang yang mengalami kerentanan keamanan karena alat seperti ini sangat banyak, dan jumlah orang yang mengalami masalah stabilitas serta ketersediaan pada dasarnya setara dengan jumlah orang yang memakai alat tersebut

• Kualitas produk, dari pesawat hingga perangkat lunak, sedang jatuh bebas. Sekarang semua orang hanya memikirkan pendapatan tambahan, sehingga kurangnya QA menjadi kondisi bawaan

  • Perekonomian kita telah dioptimalkan dengan min-maks untuk laba, dan sepertinya kini kita memasuki masa panennya
    Alasan kita tidak bisa membuat cukup peluru artileri untuk dikirim ke Ukraina, tidak bisa membawa manufaktur chip kembali ke dalam negeri, dan tidak bisa membangun kapal, semuanya sama
  • Penyebab lainnya adalah makin banyak orang non-teknis yang mengambil keputusan, bahkan sampai mengembangkan program teknis
    Lima belas tahun lalu, sebagian besar orang di industri ini benar-benar ingin berada di sana, dan pengecualiannya hanya sedikit. Sekarang ini sudah seperti pekerjaan lain, sehingga mayoritas developer tidak terlalu peduli pada output mereka, dan pada akhirnya hasilnya pun berantakan
    Dalam beberapa tahun terakhir, saya hampir tidak pernah bertemu developer di bawah level senior yang benar-benar menguji kode sampah mereka sendiri
  • Biaya ekonomi ketika melakukan kesalahan lebih kecil daripada laba yang diperoleh. Sebelum itu berubah, tidak ada yang akan berubah
  • Ini bukan sekadar masalah kualitas produk
    Strukturnya adalah para influencer berbau marketing yang bahkan tidak tahu apa yang mereka lakukan menjual sampah kepada orang-orang yang mencoba menutupi paranoia yang dipicu vendor dengan checkbox compliance. Mereka tidak paham threat modeling, dan tidak tahu bagaimana sistem operasi bekerja
    Dilihat dari triad CIA, availability sudah sepenuhnya dikorbankan, confidentiality juga sebagian dikorbankan dengan mengirim setiap pergerakan sistem ke suatu perusahaan cloud, dan mereka mencoba mendapatkan rasa aman palsu berupa integrity yang bahkan tidak dijamin oleh vendor. Saya hampir tidak pernah melihat bukti bahwa produk ini benar-benar melakukan sesuatu dalam arsitektur keamanan yang berlapis dengan benar
    Ini kebalikan total dari usulan keamanan. Ini rumah kartu yang dibangun di atas kebohongan dan ketidakmampuan, dan secara harfiah mendekati definisi malware. Ia mengekspor data yang tidak bisa Anda kendalikan ke luar, bisa menjatuhkan sistem lewat fungsi remote command-and-control, dan menjalankan kode yang sepenuhnya arbitrer di ring 0
    Pada Maret 2023 saya menyebut seluruh hal ini sebagai risiko bisnis yang besar, tetapi orang-orang di atas tetap memaksakannya. Saya merekam keberatan saya, dan sekarang saya berniat memakainya untuk membalas
    Kalau orang tetap membelinya, tidak masalah bagi mereka meski dibuat sebagai sampah. Dan kenyataannya memang dibuat sebagai sampah
  • Ini menyedihkan. Memang berbeda-beda tiap perusahaan, dan secara pribadi ini adalah bagian yang paling saya sukai dari software engineering, tetapi banyak perusahaan besar langsung memangkas QA begitu ada kesempatan

• Ada juga laporan bahwa CrowdStrike menyuntikkan DLL yang bermasalah ke aplikasi Windows, sehingga aplikasi bisa crash meski aplikasinya sendiri tidak salah
  https://x.com/molecularmusing/status/1808756095860543916

  • Itu persoalan yang sama sekali berbeda. DLL yang disuntikkan adalah fitur opsional yang secara default mati, dan admin secara eksplisit diperingatkan untuk memastikan kompatibilitas dengan fleet sebelum deployment
    Ada empat tingkat hook yang bisa diterapkan dan makin lama makin tidak stabil, dengan peringatan berulang di UI dan dokumentasi. Misalnya, XUMD memungkinkan sensor memantau informasi dengan memuat library ke proses yang sedang berjalan dan meng-hook berbagai API user mode
    Sebagian telemetri endpoint hanya bisa dikumpulkan lewat hook user mode. XUMD memberikan informasi tentang API apa yang digunakan proses, dan informasi ini dipakai oleh berbagai mekanisme pencegahan sensor berdasarkan perilaku kumulatif yang diamati
    Berbeda dengan AUMD, cloud dapat mengubah visibilitas XUMD secara dinamis tanpa pembaruan sensor. Pengaturannya adalah Disabled, Cautious, Moderate, Aggressive, dan Extra Aggressive; makin ke belakang, makin besar masalah performa atau kompatibilitas aplikasi, sehingga tidak direkomendasikan untuk produksi
    Karena XUMD dimuat ke proses pengguna yang awalnya tidak dikembangkan bersama dengannya, crash, kegagalan startup, atau penurunan performa bisa terjadi, terutama di lingkungan yang memasang produk keamanan lain. Untuk melihat proses mana yang memuat DLL XUMD, jalankan tasklist /m csxumd* di command line

• Semua ini terjadi karena perusahaan bisa menghindari tanggung jawab atas kerugian konsekuensial lewat kontrak
  Sama seperti tanggung jawab konsekuensial atas hilangnya nyawa tidak boleh dikecualikan lewat kontrak, klausul seperti ini juga harus dibuat tidak dapat diberlakukan, atau setidaknya dibatasi

  • Bukankah itu yang hendak dilakukan arahan keamanan siber di Eropa? Arahan yang sempat membuat semua orang marah lalu mendapat pengecualian FOSS itu

• Pernyataan “pembaruan itu tidak kompatibel dengan versi stable terbaru Debian, tetapi konfigurasi Linux tersebut disebut didukung” dan “hasil analisis menunjukkan konfigurasi Debian Linux tidak ada dalam matriks pengujian” tampak cukup dekat dengan penipuan sungguhan
  Artinya mereka menyatakan mendukung konfigurasi X, tetapi sebenarnya sama sekali tidak menguji konfigurasi X. Ini seperti mengatakan mobil memiliki sabuk pengaman, tetapi di seluruh proses manufaktur tidak pernah memeriksa apakah sabuk pengaman dipasang dan berfungsi
  Kalau perusahaan mobil melakukan itu, rasanya mereka akan dituntut. Saya tidak tahu mengapa CrowdStrike tidak. Tidak mendukung versi Linux tertentu bisa dimengerti, tetapi jika mengiklankannya sebagai didukung sambil bahkan tidak mengujinya, itu setidaknya kelalaian yang disengaja, dan mungkin penipuan terang-terangan

• Ungkapan “tidak ada yang menyadarinya” terdengar seperti cara manis untuk mengatakan CrowdStrike menekan media agar tidak menyadarinya. Di thread HN pada hari bug itu terjadi, ada komentar dari orang-orang yang mengatakan mereka sudah mencoba melaporkan masalah selama berbulan-bulan
  Bahkan artikelnya sendiri menulis seolah orang-orang memang menyadari masalah itu. Jadi siapa yang tidak menyadarinya? Atau apakah masalah-masalah itu tidak cukup terkenal untuk tidak diabaikan?

  • Apakah Anda menganggap CrowdStrike menekan liputan media? Saya penasaran apakah menurut Anda mereka mengirim cek ke NY Times, WaPo, dan stasiun TV besar
    Media tidak peduli pada beberapa server yang mati kecuali terlihat di dunia nyata, seperti penghentian operasi penerbangan
  • Saya ingat melihat sesuatu waktu itu, tetapi saya mengira sangat sedikit orang yang memasang perangkat lunak seperti itu di Linux. Kenyataannya memang sangat sedikit perusahaan seperti itu
    Radius ledakannya kecil, mungkin bahkan lebih kecil daripada driver Nvidia yang buruk

• Jika ada yang memakai CrowdStrike di sini, saya penasaran sebenarnya ini melakukan apa. Saya sering melihatnya disebut “antivirus”, tetapi dari yang terpasang di laptop kerja, terlihat seperti keylogger dan pemantau aktivitas
  Memang “tidak ada yang disembunyikan”, tetapi tetap saja terasa mengganggu ketika super user perusahaan mengawasi saya

  • Membantu mendapatkan stempel persetujuan dari tim keamanan, kepatuhan, dan legal
  • Ada solusi yang lebih baik daripada menyebut solusi antivirus/EDR sebagai malware atau spyware. Yaitu tidak memakai perangkat kerja untuk urusan pribadi
    Perangkat itu milik perusahaan, dan digunakan untuk mengakses lingkungan perusahaan, sehingga jika malware sungguhan masuk, perangkat itu menjadi titik tanggung jawab yang bisa menimbulkan kerugian. Jika membutuhkan privasi, lebih tepat memakai perangkat terpisah

• Di satu perusahaan, katanya CrowdStrike diterapkan di semua endpoint, tetapi ada yang menjalankannya hanya di dalam mesin virtual dengan sumber daya dibatasi dan lolos begitu saja tanpa ada yang mempermasalahkan. Ia juga melihat mesin virtual gagal berjalan sekitar masa itu
  Dari mantan kolega di perusahaan besar lain, saya juga mendengar bahwa IT akhirnya menyerah saja untuk memaksakan kepatuhan pada endpoint Linux. Tampaknya sebagian admin IT pada praktiknya menerapkan kebijakan “jangan tanya, jangan bilang”
  Semacam: kalau Anda bisa menyusun sendiri stack alternatif, tidak membuat keributan, dan tidak berbohong, silakan saja. Jika motivasi pemaksaan sebagian besar hanyalah kepatuhan checklist, itu cukup masuk akal
  Saya penasaran seberapa luas bentuk kepatuhan yang agak bernuansa malicious compliance seperti ini, dan seberapa besar kontribusinya terhadap insiden April itu sehingga tidak menjadi berita yang lebih besar