Dampak gangguan CrowdStrike terhadap industri penerbangan

• Pembaruan konfigurasi sensor CrowdStrike untuk Windows yang dirilis pada 19 Juli 2024 04:09 UTC menyebabkan blue screen pada sekitar 8,5 juta komputer, dan operasi maskapai juga terdampak
• Lalu lintas penerbangan nasional AS secara keseluruhan, termasuk pemadam kebakaran, polisi, militer, dan penerbangan umum, mencatat jumlah lepas landas kumulatif sejak 19 Juli 04:00 2,6% lebih tinggi dibanding Jumat pekan sebelumnya, tetapi pada 08:00~09:00 turun 31% dari 378 penerbangan menjadi 261 penerbangan
• Dampak pada empat maskapai terbesar AS sangat berbeda: Delta tercatat -1.087 penerbangan (-46%), United -596 penerbangan (-36%), American -376 penerbangan (-16%), dan Southwest +101 penerbangan (+3%)
• Delta membatalkan ribuan penerbangan selama beberapa hari sehingga pemulihannya berlangsung lama, sementara menurut ABC News, Southwest tidak terdampak karena tidak menggunakan CrowdStrike
• Analisis ini mendeteksi lepas landas dari data ADS-B mentah milik ADS-B Exchange dan menganggapnya sebagai padanan kasar untuk penerbangan; jumlah absolut bisa lebih rendah, tetapi tetap valid untuk membandingkan rasio antarperiode

---

Titik awal gangguan CrowdStrike pada 19 Juli 2024

• Pada 19 Juli 2024 04:09 UTC, CrowdStrike mendistribusikan pembaruan konfigurasi sensor ke sistem Windows
• Setelah itu, sekitar 8,5 juta komputer mengalami blue screen, dan berbagai sektor seperti rumah sakit, bank, serta sistem 911 ikut terdampak
• Linux, Mac, dan ponsel tidak disebut sebagai target dampak langsung gangguan ini
• Layanan seperti Gmail, Facebook, dan Twitter tetap berjalan, tetapi mesin Windows yang menangani pekerjaan dunia nyata seperti reservasi, pembukaan rekening, dan dispatch polisi mengalami gangguan, memperlihatkan kontras yang jelas
• Sistem maskapai juga termasuk dalam area operasional berbasis Windows ini

Fokus pada perbandingan lalu lintas penerbangan nyata, bukan sekadar jumlah pembatalan

• Alih-alih hanya melihat jumlah pembatalan maskapai, dipilih pendekatan yang membandingkan jumlah pesawat yang benar-benar berada di udara dengan jumlah pesawat yang seharusnya berada di udara
• Video timelapse 12 jam berbasis FlightRadar24 untuk American Airlines, Delta, dan United dibagikan, tetapi tanpa dasar perbandingan sulit menilai besarnya dampak
• Berkurangnya jumlah pesawat pada malam hari terjadi setiap hari, sehingga harus dibandingkan dengan pola normal pada hari yang sama dalam pekan
• Kasus ini termasuk masalah “kurangnya konteks terhadap fenomena yang terjadi” yang dibahas Bellingcat dalam “OSHIT: Seven Deadly Sins of Bad Open Source Research”

Perubahan jumlah lepas landas nasional AS per jam

• Dibandingkan jumlah lepas landas per jam di AS antara 19 Juli, saat gangguan CrowdStrike terjadi, dan Jumat pekan sebelumnya, 12 Juli
• Perbandingan ini mencakup bukan hanya penerbangan komersial, tetapi juga pesawat pemadam kebakaran, polisi, militer, dan penerbangan umum
• Tanggal 18 Juli juga diperiksa, tetapi karena sangat mirip dengan Jumat pekan sebelumnya, patokan utama tetap 12 Juli
• Sekitar pukul 06:00~13:00 jumlah penerbangan sedikit menurun, lalu setelah itu sedikit meningkat
• Secara kumulatif sejak 04:00, jumlah penerbangan pada 19 Juli naik 2,6% dibanding periode yang sama pada Jumat pekan sebelumnya
• Penurunan terbesar muncul pada rentang 08:00~09:00, turun 31% dari 378 penerbangan pada Jumat pekan sebelumnya menjadi 261 penerbangan

Dampak yang sangat berbeda antar maskapai

• Perubahan pada empat maskapai terbesar AS sangat berbeda satu sama lain
  • Delta Air Lines: -1.087 penerbangan, -46%
  • United Airlines: -596 penerbangan, -36%
  • American Airlines: -376 penerbangan, -16%
  • Southwest Airlines: +101 penerbangan, +3%
• Delta menerima dampak terbesar, disusul United, sementara penurunan American lebih kecil
• Southwest tampak tidak terdampak dalam penghitungan ini
• Penjelasan bahwa Southwest lolos dari dampak karena masih memakai Windows 3.1 muncul dalam artikel TechRadar, tetapi OSNews membahasnya sebagai false
• Artikel ABC News menyebut Southwest tidak terdampak karena tidak menggunakan CrowdStrike

Penjelasan dan batasan seputar lambatnya pemulihan Delta

• Delta Air Lines membatalkan ribuan penerbangan selama beberapa hari setelah pembaruan CrowdStrike, sehingga butuh waktu lama untuk pulih
• Artikel ABC News menyebut respons terhadap gangguan membutuhkan perbaikan manual pada setiap sistem komputer; perbaikannya sendiri bisa dilakukan dalam waktu kurang dari 10 menit, tetapi karena Delta memiliki banyak terminal digital, kebutuhan tenaga kerjanya besar
• Penjelasan ini saja sulit untuk sepenuhnya menjelaskan perbedaan antara Delta dan maskapai lain
• Sebuah komentar Reddit memberi penjelasan yang belum terverifikasi bahwa Delta tidak memiliki rencana pemulihan bencana dan rencana kesinambungan bisnis TI yang memadai, sementara United, American, dan Frontier segera mengeksekusi rencana mereka sehingga pulih lebih cepat
  • Komentar itu juga mengklaim bahwa United dan American sama-sama memiliki ketergantungan pada Windows setinggi Delta
  • Disebut pula bahwa American telah pulih pada akhir operasional hari Jumat dan kembali beroperasi normal pada Sabtu, sementara United menyelesaikan masalah pada Sabtu pagi dan melanjutkan jadwal normal pada Sabtu sore
  • Penjelasan tersebut berasal dari komentar Reddit tanpa sumber dan disertai catatan bahwa isinya bisa saja salah

Metode analisis berbasis data ADS-B

• Analisis ini menggunakan data ADS-B mentah dari ADS-B Exchange
• Kode khusus digunakan untuk mendeteksi lepas landas pesawat, dan tiap lepas landas diperlakukan sebagai perkiraan kasar satu penerbangan
• Jumlah lepas landas dan jumlah penerbangan tidak sepenuhnya sama, tetapi diasumsikan cukup dekat untuk tujuan analisis ini
• Beberapa kasus bisa terhitung lebih rendah, seperti pesawat yang lepas landas dari bandara di luar cakupan ADS-B Exchange
• Karena undercount terjadi secara sistematis, data ini tetap bisa dipakai untuk perbandingan antarperiode; jumlah penerbangan absolut mungkin lebih rendah, tetapi perubahan persentase dinilai akurat
• Karena kode deteksi lepas landas sudah tersedia, analisis memakai jumlah lepas landas alih-alih menghitung ulang jumlah pesawat yang sedang terbang

[GN⁺]

Komentar Hacker News

• Saya membaca bahwa di Delta, perangkat lunak pelacakan awak terdampak besar sehingga pemulihannya memakan waktu
  Sumber: https://news.delta.com/update-delta-customers-ceo-ed-bastian
  Di sana tertulis, “Salah satu alat terkait pelacakan awak khususnya terdampak dan tidak mampu memproses secara efektif jumlah perubahan yang belum pernah terjadi sebelumnya yang dipicu oleh gangguan sistem”

  • Faktor lain yang memperburuk adalah kantor pusat Delta dan pola operasi utamanya berada di Pantai Timur. Karena CrowdStrike menghantam maskapai hampir pada waktu yang sama, Delta punya waktu respons kira-kira 1–2 jam lebih sedikit sebelum memasuki puncak penerbangan pagi
    Sistem belum siap saat dibutuhkan untuk rush pagi, sehingga kemungkinan mereka beralih ke pemrosesan manual sebagai strategi kesinambungan bisnis. Cara ini merugikan dari sisi throughput dan waktu pemulihan, dan tentu saja makin lama berlangsung, makin buruk dampaknya
    Yang terlihat dari insiden Southwest dan insiden Delta kali ini adalah maskapai besar tampaknya tidak memiliki cukup staf atau kelonggaran jadwal untuk bertahan ketika beralih ke mode kesinambungan bisnis. Ini perlu diselidiki, dan semoga sanksi finansial bisa mendorong perubahan perilaku, tetapi kita baru akan tahu seiring waktu
  • Delta bukan sekadar terkena “parah”; dalam model hub-and-spoke yang dipakai Delta, jika manajemen jadwal sedikit saja menurun pada hari Jumat dan ditambah batasan jam kerja FAA, tingkat kesulitan penugasan ulang penerbangan meningkat secara eksponensial
    Lebih sederhananya, perangkat lunak penjadwalan mati 4 jam pada Jumat pagi, sehingga mereka harus “meminjam” staf dari sana-sini untuk menggantikan karyawan yang terlambat atau sakit. Akibatnya ketersediaan staf untuk penerbangan berikutnya rusak, dan saat itu mereka berharap sistem sudah kembali, tetapi jika belum, mereka harus meminjam lagi untuk penerbangan malam
    Sementara itu, penerbangan yang tertunda atau dibatalkan juga memengaruhi sisa jam kerja staf yang semula bisa ditugaskan. Setelah rantai ini berlanjut lalu masuk akhir pekan, mereka harus membereskan dulu berapa jam yang sebenarnya sudah dicatat masing-masing awak, dan cara mengembalikan mereka ke posisi semula tepat waktu pun menjadi tidak pasti
  • Dari yang saya dengar di radio, cara Delta merespons lebih besar pengaruhnya daripada komputer itu sendiri
    Katanya, maskapai lain menunda penerbangan, sedangkan Delta langsung membatalkan, dan akibatnya lebih banyak orang dan pesawat tertinggal di tempat yang salah sehingga pemulihan menjadi sulit

• Saya penasaran apakah rencana pemulihan bencana yang solid, mutakhir, dan cukup sering dilatih benar-benar menyelamatkan seseorang. Atau apakah semua orang pada dasarnya beroperasi telanjang begitu saja, terlepas dari apakah IT mengeluarkan uang untuk backup dan pemulihan

  • Sistem kami baik-baik saja. Karena kami berasumsi sesuatu akan gagal, termasuk perangkat lunak seperti SentinelOne dan CrowdStrike, dan kami memiliki sistem pemulihan bencana yang memungkinkan operasi tetap berjalan meski tertatih
    Kami punya sistem pemulihan yang juga akan bekerja untuk skenario lain, seperti Thames Barrier gagal lalu Docklands lenyap. Sayangnya beberapa pemasok outsourcing tidak punya sikap seperti itu
  • Jelas membantu. Ketika kabel serat optik tidak sengaja tercabut di satu lokasi, HSRP dan VRRP, serta fitur SD-WAN lain, membuat perbedaan. Teknisi pusat data membuat kesalahan besar sehingga menjatuhkan layanan kami dan setidaknya satu pelanggan lain
    Jelas ada gangguan sesaat, dan sekitar 10 menit terjadi masalah seperti timeout halaman atau restart proses, tetapi secara umum situs-situs berhasil failover sehingga bisa tetap bertahan meski tertatih sementara kami mencari penyebabnya
    Pusat data memberi kredit layanan sekitar 19 atau 21 dolar dan permintaan maaf. CEO sangat marah dan mengatakan akan menggugat, tetapi itu tidak benar-benar berlanjut, sementara direktur infrastruktur IT diam-diam berterima kasih kepada kami karena sudah menyiapkan failover yang sebagian besar berfungsi
  • Tentu saja infrastruktur pemulihan bencana pasti sudah disiapkan. Dengan CrowdStrike sudah terpasang sebelumnya di semua server pemulihan bencana
  • Saya belum pernah melihatnya langsung. Tentu mungkin ada bias sampel, tetapi saya ingin mendengar kisah keberhasilan
  • Tepat setelah saya memposting, seseorang mengunggah ini: https://news.ycombinator.com/item?id=41103486
    Jadi sepertinya alasan Delta hancur separah itu memang kurangnya pemulihan bencana

• Hal yang tidak saya pahami dari grafik-grafik ini adalah mengapa jumlah lepas landas relatif meningkat sedikit sebelum pembaruan CrowdStrike didistribusikan
  Itu terlihat di grafik keseluruhan, dan juga di grafik United, American, terutama Delta. Saya tidak bisa memikirkan alasannya; bisa saja hanya noise acak, atau mungkin ada sesuatu yang tidak biasa pada jam yang sama minggu sebelumnya

  • Salah satu alasan memasukkan jumlah penerbangan absolut dan perubahan persentase dalam grafik adalah untuk memahami konteks yang lebih besar. Kenaikan relatif itu terjadi tepat sebelum CrowdStrike meledak, yaitu sekitar tengah malam Waktu Timur AS, ketika volume operasi sudah sangat rendah
    Jadi meskipun disebut naik 25%, itu bisa berarti hanya ada tambahan sekitar 12 penerbangan lepas landas dalam satu jam di seluruh AS. Noise jelas banyak, dan melihat nilai absolut bersama perubahan persentase membantu memberi gambaran tentang apa yang terjadi
    Data dua hari mungkin cukup untuk melihat alur utama dampak CrowdStrike, tetapi tidak cukup untuk menjelaskan semua fluktuasi
  • Banyak diberitakan bahwa itu adalah salah satu hari perjalanan tersibuk dalam waktu cukup lama, dan hal itu memperbesar masalah
  • Sepertinya tidak terlalu sulit menambahkan data beberapa minggu lagi agar setidaknya terlihat kisaran fluktuasinya

• Yang paling menarik mungkin bagaimana gugatan yang hendak diajukan Delta terhadap Microsoft dan CrowdStrike akan berkembang
  https://www.marketwatch.com/story/delta-hires-law-firm-seeking-damages-from-crowdstrike-microsoft-after-massive-tech-outage-report-a882328a

• Isi tautan yang disertakan: https://www.techradar.com/pro/security/southwest-airlines-avoided-crowdstrike-microsoft-outage-because-its-still-running-windows-31-fourth-largest-us-airline-remained-free-of-bsod-errors-because-its-os-hasnt-been-updated-in-decades
  Isinya mengatakan, “Untuk memberi gambaran seberapa tuanya sistem operasi ini, Windows 3.1 awalnya dirilis pada 1992, dan Microsoft mengakhiri dukungan pada 31 Desember 2001, kecuali untuk versi embedded; versi embedded itu pun resmi berakhir pada 2008.”
  Saya terus mendengar cerita soal Windows 3.1 ini berulang-ulang. Karena berasal dari TechRadar dan namanya bahkan ada embel-embel “Pro”, rasanya tidak mungkin mereka mengarang, kan? Tapi tetap saja saya belum bisa percaya sepenuhnya. Ada orang yang bekerja di Southwest yang bisa memastikan apakah sistem penjadwalan utama mereka berjalan di Windows 3.1?

  • Itu salah [1], dan sudah menjadi semacam uji lakmus untuk membedakan apakah media memverifikasi klaim secara independen atau tidak
    Pernyataan bahwa “SkySolver dan Crew Web Access yang dikembangkan internal oleh Southwest ‘secara historis terlihat seperti dirancang di Windows 95’” telah dipelintir menjadi “berjalan di Windows 3.1”
    [1] https://www.osnews.com/story/140301/no-southwest-airlines-is-not-still-using-windows-3-1/
  • TechRadar mengutip Tom's Hardware, dan Tom's Hardware mengutip satu tweet
    Itu bahkan bukan tweet dari Southwest, dan bukan juga dari orang yang mengaku pernah bekerja di Southwest. Hanya sebuah tweet biasa
  • Orang yang pertama memulainya sendiri mengatakan itu hanya “tweet troll”
    https://x.com/ArtemR/status/1815408553131426179
  • Klaim bahwa “Southwest memakai Windows 3.1” itu palsu, dan ini contoh yang bagus tentang bagaimana omong kosong menyebar di internet ketika organisasi yang sampai taraf tertentu dianggap “dapat dipercaya” mengulang rumor palsu
    https://kotaku.com/southwest-airlines-windows-3-1-blue-screen-crowdstrike-1851603013
  • Saya bekerja di SITA (https://en.wikipedia.org/wiki/SITA_(business_services_company)) pada akhir 2000-an. Saat itu ada jaringan serial X.25 raksasa yang menghubungkan maskapai-maskapai di seluruh dunia
    Sebagian pelanggan masih menjalankan Windows 3.11 di sistem AT tua di data center, dan mereka biasa membeli komputer lama di craigslist dan eBay untuk mendapatkan hardware cadangan jika terjadi kerusakan. Saya tidak akan terkejut kalau sistem-sistem seperti itu masih dipakai sampai sekarang

• Berlin Brandenburg terkena dampak besar. Sebagai pengguna yang punya banyak keluhan terhadap BER, saya sama sekali tidak terkejut bahwa bandara itu termasuk salah satu yang mengalami dampak terburuk

  • IT Jerman memang sering terpukul parah oleh kejadian seperti ini. Tentu saja pengecualiannya adalah kasus yang masih beroperasi dengan kertas
    Tapi setidaknya mereka langsung memberi tahu lewat banner di bagian paling atas situs web. Sistem reservasi kantor imigrasi sempat down lebih dari sebulan, dan mereka butuh 3 minggu hanya untuk mengakui fakta itu
  • Saya masih heran Brandenburg benar-benar sudah dibuka

• Sepertinya akan ada gugatan. Delta tampaknya sudah bersiap
  https://finance.yahoo.com/news/delta-air-lines-seek-compensation-211908080.html

  • Ada bagian yang menyebut mereka “menyewa firma hukum untuk menuntut kompensasi dari Microsoft dan CrowdStrike”, tetapi mengarahkan sasaran ke Microsoft di sini rasanya salah arah
    Apa hubungannya Microsoft dengan driver pihak ketiga yang dipasang oleh departemen IT mereka sendiri?

• Ada yang tahu kenapa Minneapolis-St Paul mulai mengalami gelombang pembatalan jauh lebih awal dibanding bandara-bandara AS lainnya?

• Cara agar tidak tumbang: Southwest tidak terdampak karena tidak memakai CrowdStrike

• Media sosial saya punya backup dan infrastruktur yang lebih baik, jadi saya benar-benar tidak paham kenapa sistem operasi yang dipakai di seluruh dunia tidak seperti itu

  • Karena IT adalah bisnis inti perusahaan media sosial. Mereka memahami IT sampai ke detail-detailnya, serta memahami apa saja yang bisa salah dan cara memitigasinya
    Sebaliknya, bisnis inti maskapai adalah menerbangkan pesawat, dan mereka sangat bagus dalam hal itu. Namun IT lebih seperti alat yang dibeli dari luar, dan mereka tidak memahaminya dengan cara yang sama seperti perusahaan media sosial
    Karena itu mereka bergantung pada kontraktor eksternal yang bisa menanganinya dengan benar, tetapi kontraktor tersebut sering mendapatkan pekerjaan karena paling murah atau karena meyakinkan pembeli bahwa layanan mereka adalah “praktik terbaik industri”
  • Saya tidak akan melebih-lebihkan bahwa FAANG kebal terhadap pembaruan konfigurasi yang bisa menghentikan dunia. Facebook juga pernah tumbang selama beberapa jam pada 2021, termasuk akses engineer ke datacenter
    https://news.ycombinator.com/item?id=28750894
    Dan soal ungkapan “infrastruktur dibandingkan dengan sistem operasi”, menurut saya kualitas infrastruktur Microsoft tidak relevan di sini
  • Cukup bandingkan gaji, kondisi kerja, dan status yang ditawarkan posisi teknis di perusahaan media sosial dengan posisi teknis di perusahaan tradisional besar seperti bank dan maskapai
    Di yang pertama, kompensasinya bagus dan ada tingkat status serta modal politik tertentu. Di yang kedua, bayarannya rendah, dan status maupun modal politiknya sering kali setara dengan staf kebersihan
  • Meta adalah salah satu perusahaan paling bernilai di dunia, dan punya sumber daya untuk membeli semua yang terbaik. Dengan kapitalisasi pasar 1,28 triliun dolar AS, ukurannya 30 kali lebih besar daripada gabungan American, Delta, dan United
    Laba tahun lalu juga 39 miliar dolar, dibandingkan dengan 7,8 miliar dolar untuk seluruh maskapai AS. Wajar saja mereka punya sistem yang lebih baik
  • Karena yang satu berada di dalam datacenter yang bisa dikendalikan, sementara yang lain didistribusikan ke hardware milik pengguna yang tidak bisa dikendalikan