Gangguan layanan seluler di AS berdampak pada pengguna AT&T, T-Mobile, dan Verizon

 (cnbc.com)
1 poin oleh GN⁺ 2024-02-23 | 1 komentar | Bagikan ke WhatsApp
  • Gangguan nirkabel AT&T yang terjadi pada Kamis di Amerika Serikat mengganggu panggilan, SMS, dan sebagian panggilan darurat 911, dan AT&T menyampaikan bahwa layanan untuk semua pelanggan yang terdampak telah pulih sesaat setelah pukul 3 sore waktu Timur
  • Dalam peninjauan awal, penyebabnya diketahui bukan serangan siber, melainkan penerapan dan eksekusi proses yang keliru saat perluasan jaringan, dan AT&T akan melanjutkan evaluasi tambahan
  • Laporan di Downdetector mulai meningkat sekitar pukul 4 pagi waktu Timur dan mencapai puncak sekitar 74.000 laporan pada pukul 8.30 pagi, sementara sekitar 58.000 laporan masih tercatat menjelang tengah hari
  • Pada perangkat yang terdampak, batang sinyal menghilang atau muncul indikator SOS, dan pelanggan masih bisa menelepon jika mengaktifkan Wi-Fi calling
  • Verizon dan T-Mobile juga masing-masing menerima ribuan laporan, tetapi kedua perusahaan menilai kemungkinan besar itu mencerminkan masalah saat mencoba terhubung dengan pengguna di jaringan lain

Situasi gangguan dan pemulihan AT&T

  • Pada Kamis, ribuan pengguna AT&T di Amerika Serikat mengalami gangguan seluler yang menghambat penggunaan panggilan dan pesan teks
  • AT&T mengumumkan bahwa layanan untuk semua pelanggan yang terdampak telah dipulihkan sesaat setelah pukul 3 sore waktu Timur
  • Perusahaan menyatakan bahwa menjaga pelanggan tetap terhubung adalah prioritas utama dan mereka mengambil langkah agar pelanggan tidak mengalami hal yang sama lagi
  • AT&T menyiapkan situs web system updates, tetapi tidak mengungkap jumlah pelanggan yang terdampak oleh gangguan pada Kamis

Penyebab gangguan dan respons regulator

  • Dalam peninjauan awal AT&T pada Kamis malam, penyebab gangguan diidentifikasi sebagai penerapan dan eksekusi proses yang salah yang digunakan dalam proses perluasan jaringan
  • Dalam penjelasan yang sama, perusahaan menegaskan bahwa gangguan ini bukan serangan siber
  • FCC menyatakan di X bahwa mereka sedang menyelidiki insiden tersebut dan berkomunikasi dengan AT&T serta otoritas keselamatan
  • AT&T akan terus melakukan evaluasi atas gangguan tersebut

Tren laporan Downdetector dan saham

  • Menurut Downdetector.com, laporan gangguan mulai meningkat sekitar pukul 4 pagi waktu Timur
  • Jumlah laporan mencapai puncak sekitar 74.000 pada sekitar pukul 8.30 pagi
  • Menjelang tengah hari, sekitar 58.000 laporan gangguan masih tercatat
  • Saham AT&T ditutup turun 2,41% pada Kamis

Indikator di perangkat dan dampak pada 911

  • Ponsel yang terdampak gangguan tidak menampilkan batang sinyal di kanan atas layar atau menampilkan tulisan SOS
  • Pelanggan masih bisa melakukan panggilan jika mengaktifkan Wi-Fi calling
  • San Francisco Fire Department memberi tahu dalam unggahan di X bahwa pelanggan nirkabel AT&T tidak dapat melakukan atau menerima panggilan, termasuk panggilan ke 911
  • Wali Kota Atlanta Andre Dickens mengatakan kota itu masih dapat menerima dan melakukan panggilan 911, tetapi pelanggan AT&T di wilayah tersebut melaporkan ponsel mereka berada dalam mode SOS
  • Massachusetts State Police meminta masyarakat untuk tidak menelepon pusat 911 hanya untuk memeriksa apakah layanan 911 seluler berfungsi, karena panggilan semacam itu membanjiri pusat 911
    • Mereka menjelaskan bahwa jika Anda dapat berhasil melakukan panggilan non-darurat ke nomor biasa, maka layanan 911 juga berfungsi

Laporan Verizon dan T-Mobile

  • Menurut Downdetector, per pukul 10 pagi waktu Timur, pengguna Verizon dan T-Mobile juga masing-masing melaporkan ribuan gangguan
  • Kedua perusahaan menilai laporan tersebut kemungkinan besar mencerminkan kesulitan yang terjadi saat mencoba terhubung dengan pengguna di jaringan lain
  • T-Mobile menjelaskan dalam pernyataan email bahwa laporan di Downdetector kemungkinan besar mencerminkan masalah yang dialami pelanggan saat mencoba terhubung dengan pengguna di jaringan lain

Bacaan terkait

1 komentar

 
GN⁺ 2024-02-23
Pendapat di Hacker News

  • Ini adalah cacat arsitektur yang serius
    Jika melihat seluruh sejarah pertukaran elektromekanis Bell System, kecuali bencana alam atau satu kebakaran besar di NYC, tidak ada central office mana pun yang pernah mengalami pemadaman layanan lebih dari 30 menit
    Pada 1960–1970-an, sistem AT&T Long Lines memiliki 10 pusat regional yang semuanya independen dan saling terhubung rapat, sementara pusat kendali di Bedminster, NJ hanya bertanggung jawab atas pemantauan dan pembaruan routing setiap 15 menit
    Jika diperlukan, semua switch bisa kembali ke routing dasar, dan ketika beban tinggi, sebagian panggilan bisa gagal tetapi sebagian besar tetap berjalan

    • Pernah ada gangguan Mother's Day pada 1990
      Penyebabnya adalah penggantian pernyataan break menjadi pernyataan continue dalam kode C yang menangani routing, dan itu menimbulkan efek berantai
      Namun dampaknya hanya pada layanan telepon jarak jauh
    • Saya sudah lama merasa bahwa hampir semua infrastruktur AS saat ini tampaknya memiliki keandalan yang lebih rendah dibanding akhir abad ke-20
      Saya penasaran apakah itu hanya bayangan saya atau memang nyata, dan jika benar, apa artinya
    • Mengejutkan bahwa tidak ada yang melihat munculnya 502 saat mencoba menyalakan WiFi calling
      Sumber 502 itu adalah Azure, dan ini tampak seperti masalah arsitektur cloud
    • Ini mungkin saja penyebabnya: https://www.webwire.com/ViewPressRel.asp?aId=318230
    • Dalam konteks ini, saya penasaran seberapa besar skala fisik central office yang dimaksud pada tingkat wilayah

  • Ada hal yang tidak banyak dibahas di sini: bagaimana efek berantai dari gangguan ini, terutama dampaknya terhadap pengemudi?
    Banyak orang di dalam gedung mungkin bisa memutar lewat Wi-Fi, tetapi bagi pengemudi dampaknya sepertinya cukup luas
    Misalnya, yang terlintas adalah keterlambatan pengiriman UPS, FedEx, Amazon, dan pengemudi truk yang bergantung pada aplikasi peta ponsel, pengemudi Uber/Lyft/taksi yang tidak bisa mendapat panduan rute penjemputan dan pengantaran, serta lalu lintas yang memburuk karena tidak bisa mendapat optimasi rute atau panduan tujuan
    Perusahaan besar mungkin punya redundansi seperti infrastruktur sendiri atau perangkat GPS khusus, tetapi saya penasaran apakah dampak seperti ini benar-benar terjadi atau apakah ada cara memutarnya
    Terlepas dari pengemudi, risiko tidak bisa mendapat perawatan dalam keadaan darurat karena tidak bisa menelepon juga tampaknya meningkat, dan saya juga tidak yakin bagaimana panggilan darurat terdampak

    • Saat gangguan Rogers di Kanada pada 2022, ada juga ketergantungan pada lalu lintas
      Di Toronto, seperempat dari seluruh lampu lalu lintas bergantung pada jaringan seluler Rogers untuk perubahan timing sinyal, dan jaringan GSM Rogers juga digunakan untuk pemantauan jarak jauh alarm kebakaran dan sprinkler di gedung-gedung kota
      Pembayaran parkir umum dan layanan sepeda publik juga tidak bisa digunakan
      https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
      Seingat saya, karena saat itu musim panas, sebagian program taman untuk anak-anak juga dibatalkan. Alasannya staf harus memiliki ponsel yang bisa menelepon 9-1-1, meskipun setidaknya panggilan itu sendiri tampaknya berfungsi di sana
    • Ini mungkin saja alasan kenapa pagi ini saya tiba-tiba bertemu kemacetan luar biasa di tengah lingkungan sekitar
      Saya sengaja mengurangi ketergantungan pada ponsel, jadi saya bahkan tidak tahu ada gangguan apa pun. Dulu saya otomatis menyalakan Google Maps bahkan untuk perjalanan sangat pendek, tetapi saya sadar bahwa jika sepenuhnya bergantung pada perusahaan untuk melacak lokasi saya dan memberi instruksi, saya akan kehilangan kemampuan mencari jalan sendiri, dan dalam proses keluar dari Google saya beralih ke Organic Maps
      Meski begitu, sebisa mungkin saya mencoba mencari jalan sendiri tanpa bantuan GPS, dan mencari arah terasa seperti keterampilan yang benar-benar bisa hilang jika tidak dilatih
      Pagi ini setelah menyelesaikan urusan dengan melintasi pusat kota, saya mencoba kembali ke jalan arteri terbesar yang saya tahu, tetapi langsung terjebak dalam kemacetan total yang membentang setidaknya 1 mil ke arah barat. Saya melihat apakah ada kecelakaan, tetapi tidak tampak apa pun, semua orang hanya berhenti
      Saya segera putar balik dan pergi ke jalan lain ke arah barat yang berjarak 0,75 mil di utara, dan di sana sama sekali tidak ada mobil sehingga saya bisa pulang dengan kecepatan batas
      Aplikasi navigasi yang banyak dipakai biasanya menyarankan rute alternatif jika ada kemacetan, jadi mengapa semua orang tetap duduk dalam kemacetan itu padahal ada jalan paralel yang kosong kurang dari 1 mil jauhnya? Mungkin itu efek berantai karena ponsel tidak bisa menyuruh mereka mengambil jalan lain, sementara terlalu banyak orang sudah terbiasa mengikuti instruksi ponsel
    • Jika memakai Google Maps, di wilayah yang diketahui memiliki kondisi jaringan buruk, aplikasi otomatis menyarankan untuk mengunduh peta wilayah tersebut
      Tampaknya ada juga fitur peta lokal otomatis
    • Perlu dicatat bahwa GPS tidak bergantung pada layanan seluler
    • Saya kurang yakin bahwa lalu lintas memburuk karena pengemudi tidak bisa mengoptimalkan rute
      Sebagian besar pengemudi mengambil rute yang sudah akrab dan tidak menerima panduan arah lewat sarana elektronik
      Pertanyaan yang lebih baik adalah apa yang terjadi pada mobil otonom. Apakah mereka tidak bisa menemukan jalan tanpa cakupan seluler lalu berhenti di pinggir jalan?

  • Bagi yang mencoba menebak akar penyebabnya, informasi dari komentar yang ada sejauh ini belum cukup untuk menarik kesimpulan
    Saat bekerja di operator telekomunikasi, saya beberapa kali menangani isu seluler berskala nasional di Kanada, dan dampak nasional bisa muncul dari sangat banyak penyebab
    Pernah ada route baru yang diinjeksikan ke jaringan, lalu routing engine pada perangkat seluler tertentu crash secara nasional; akibatnya, hanya akses internet dari perangkat seluler di seluruh negeri yang terputus. Untungnya itu terjadi pada jendela pemeliharaan pukul 2 pagi, ditemukan sebelum jam kerja, lalu di-rollback, sehingga kebanyakan orang tidak mengetahuinya
    Pernah juga ketika seorang teknisi memasang router baru, router core yang sudah ada crash lalu reboot. Dampak yang layak masuk berita hanya gangguan regional sekitar 20 menit, tetapi setelah itu selama 12 jam kami menemukan bug dan efek samping dari pesisir Pasifik hingga Atlantik
    Jadi data seperti “terdampak di lokasi x” sulit membedakan apakah seluruh wilayah itu down, banyak orang bermasalah, atau hanya satu-dua orang mengalami masalah yang merembet ke wilayah lain; nilai informasi tentang bisa/tidak bisa di lokasi tertentu pun terbatas
    Pernah juga relay messaging terkena rate limit yang sudah disetel, lalu retry protokol membuat laju pesan semakin naik sehingga pada protokol tertentu terjadi congestion collapse secara efektif. Karena ini masalah kemacetan dalam penyampaian status, dampaknya nasional, tetapi tetap saja alur pesan bisa selesai dengan probabilitas x%, sehingga layanannya kadang berfungsi
    Untuk gangguan Rogers yang terkenal itu, saya tidak ingat apakah mereka mengakui akar penyebab keseluruhannya. Ada dugaan bahwa saat melakukan perubahan atau upgrade jaringan routing, efek samping masalahnya bahkan membuat para teknisi terlempar keluar dari jaringan. Ketika jaringan nasional mati dan para karyawan juga memakai jaringan yang sama sehingga koordinasi menjadi sulit, pemulihannya pun berat
    Dokumen pengajuan CRTC yang saya tinjau hampir tidak memberi pelajaran karena semua informasi bergunanya disensor. Spekulasi memang menarik, tetapi kali ini saya berharap AT&T lebih transparan daripada operator Kanada agar industri bisa belajar

    • Rogers tentu saja menyalahkan vendor, dan kemungkinan besar itu Ericsson. Karena Rogers pasti tidak mungkin salah
      Menarik juga melihat organisasi raksasa lain tidak punya rencana rollback atau failure plan untuk perubahan yang bisa merusak perusahaan. Bahkan dasar-dasar IT 101 pun tidak ada atau sangat terbatas
      Hal positif yang dipelajari adalah tiga besar, atau pada praktiknya dua operator, merasa sebaiknya saling menyediakan SIM cadangan darurat untuk jaringan lain bagi staf inti ketika jaringan mereka sendiri down. Mereka baru melakukannya pada 2015, tetapi terlambat masih lebih baik daripada tidak sama sekali
      Karena Rogers memakai core yang sama untuk koneksi nirkabel dan kabel, orang-orang yang memakai penyedia internet pihak ketiga yang berjalan di atas Rogers pun mengalami blackout total. Situs web, jalur bisnis, hampir semuanya tumbang, dan komunikasi dari Rogers praktis tidak ada
      Untungnya organisasi kami punya konfigurasi multi-link, jadi pada pukul 6 pagi kami mengalihkan jalur dan sebagian besar lokasi tetap berjalan tanpa masalah
      Hal menarik lainnya adalah base station tetap menyala hanya cukup untuk ponsel menempel, tetapi tidak bisa melakukan apa pun, sehingga panggilan 9-1-1 tidak dialihkan ke jaringan lain dan langsung gagal. Ini tampak seperti cacat pada spesifikasi GSM atau pemrograman SIM Rogers, tetapi saya tidak tahu apakah sudah ditangani
      https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
    • Spekulasi menarik karena kebanyakan mencerminkan diri sendiri. Saya penasaran apakah ada istilah untuk hal seperti ini
      Jika digeneralisasi dengan sangat kasar, orang sains menebak flare matahari, teman saya yang sayap kanan menebak hacker internasional, saya menebak deployment software yang gagal, dan seseorang di tulisan ini mengatakan teman militernya menyuruhnya mengisi bensin
      Namun seperti semua orang, saya juga sungguh merasa tebakan saya mungkin benar
    • Melihat komentar DownDetector, sepertinya ini bukan masalah routing
      Banyak laporan bahwa enam orang di rumah yang sama semuanya memakai AT&T, tetapi hanya satu yang mengalami masalah
      Kedengarannya seperti upgrade yang hanya diterapkan setengah, atau mengingat waktu terjadinya, rollback yang hanya diterapkan setengah
    • Saya penasaran apakah di industri memang lazim bahwa semua informasi berguna dalam dokumen pengajuan CRTC disensor
    • Saya pikir salah satu alasan utama sebagian orang masih bisa memakai layanan adalah roaming

  • Verizon dan T-Mobile sama-sama mengumumkan bahwa tidak ada gangguan di pihak mereka, melainkan masalah pelanggan mereka tidak bisa menelepon pelanggan AT&T
    Namun tampaknya sebagian besar jaringan AT&T di AS sedang down

    • Salah satu teori untuk masalah Verizon/T-Mobile yang dilaporkan adalah: ketika AT&T offline, semua ponsel AT&T masuk ke mode SOS dan mencoba mendaftar ke jaringan yang tersisa, yaitu Verizon dan T-Mobile, untuk panggilan 911
      Lonjakan perangkat yang mencoba registrasi secara bersamaan mungkin membebani sebagian jaringan tersebut
    • Data point AT&T lewat MVNO di Atlanta: tersambung hingga sekitar pukul 11 waktu Timur, lalu terputus dan setelah itu tidak tersambung kembali
    • Istri saya memakai google-fi dan rekan kerja memakai verizon; keduanya mengatakan tidak bisa melakukan panggilan

  • Kemungkinan besar tidak terkait, tetapi timing-nya buruk karena AT&T baru saja mengajukan penghentian layanan telepon kabel di sebagian wilayah California
    https://www.wired.com/story/att-landline-california-complain...

  • Gangguan berakhir
    Status: dipulihkan
    AT&T FINAL, Service Degradation, Global Smart Messaging Suite
    AT&T Global Smart Messaging Suite
    Deskripsi event: FINAL, Service Degradation
    Layanan terdampak: MMS MT
    Mulai: 2024-02-21 Timur 22:00, Tengah 21:00, Pasifik 19:00
    Selesai: 2024-02-22 Timur 11:00, Tengah 10:00, Pasifik 08:00
    Durasi gangguan: 780 menit
    Pelanggan yang terhormat, kami menginformasikan bahwa Global Smart Messaging Suite kini sudah tersedia. Layanan MMS MT telah dipulihkan dan tim kami sedang memantau
    AT&T Business Solutions
    Kind Regards,
    The AT&T SMS Service Administrator

    • Menurut saya pengumuman seperti ini seharusnya menyertakan apakah mereka sedang melakukan investigasi akar penyebab, dan jika belum pasti, apakah hasil investigasinya akan dibagikan serta di mana akan dibagikan
      Mungkin saya membacanya terlalu berlebihan, tetapi saya terganggu karena bagian itu tidak ada
    • Saya penasaran apakah ini juga mencakup panggilan suara seluler

  • Teringat diskusi terbaru tentang halaman status: https://news.ycombinator.com/item?id=39099980
    Halaman status seharusnya akurat, tetapi status AT&T mengklaim semuanya normal.
    Layanan nirkabel saya mati dan ada puluhan ribu laporan di DownDetector, jadi jelas tidak semuanya normal.

    • Halaman status publik pada dasarnya hampir tidak berguna.
      Entah diperbarui lewat pengujian otomatis, atau diperbarui secara manual.
      Kalau otomatis, hampir selalu untuk internal, bukan publik; kalau manual, hampir selalu terlambat dan toh baru diperbarui setelah gangguannya muncul di HN.
    • Akan bagus kalau FTC mewajibkan halaman status untuk akurat.
      Sangat menyebalkan ketika departemen pemasaran mengambil alih halaman status lalu muncul tanda centang hijau yang terkenal buruk itu dan huruf “i” kecil.
    • Saat ini halaman gangguan AT&T memiliki banner seperti ini:
      “Service Alert: Some of our customers are experiencing wireless service interruptions this morning. We are working urgently to restore service to them. We will provide updates as they are available.”
      https://www.att.com/outages/
    • Penasaran halaman status yang dimaksud yang mana.

  • Belum ada informasi di NANOG, tetapi sepertinya sesuatu akan muncul di thread ini dalam beberapa jam ke depan: https://mailman.nanog.org/pipermail/nanog/2024-February/2250...

  • Bahkan saat memakai aplikasi myATT, akun nirkabel saya sama sekali tidak terlihat.
    Seluruh akun keluarga juga tidak ditampilkan sebagai layanan. Terlihat seperti peretasan atau masalah internal yang menghapus akun.
    Bisa orang lain mengecek apakah akun mereka terlihat?

    • Sepertinya beberapa API sesekali mengembalikan 502, dan itu tampaknya menyebabkan perilaku aneh di aplikasi web/mobile.
    • Dari yang baru saja saya baca, pada dasarnya katanya ada masalah dengan basis data nomor SIM.
      SIM kehilangan autentikasi jaringan sehingga semuanya terlepas dari jaringan. Kalau begitu, besar kemungkinan ini adalah deployment perangkat lunak yang gagal.
      Akun online juga pasti mengambil informasi ini dengan cara tertentu, jadi itu bisa menjelaskan mengapa portalnya rusak.
      Hotspot prabayar berfungsi dengan baik, tetapi ponsel kontrak bulanan “paket keluarga” tidak ada yang berfungsi.
      Saya juga penasaran apakah perbedaan SIM fisik dan eSIM bisa menjelaskan mengapa model “baru” berfungsi.
    • Halaman status gangguan juga benar-benar rusak. Tidak menampilkan apa pun.
    • Akun saya terlihat.
      Hal pertama yang saya lakukan setelah melihat ponsel tidak berfungsi adalah login dan membayar tagihan, karena saya khawatir mungkin belum membayar.
    • Manajemen akun dan tool status memang biasanya lambat dan tidak stabil.
      Saya tidak akan menutup kemungkinan bahwa sedikit tambahan trafik saja sudah cukup membuatnya tumbang. Korelasi bukan berarti kausalitas.

  • Ada yang namanya peta gangguan[1]. Tapi tidak berguna.
    Itu hanya peta yang menunjukkan tempat-tempat di AS yang banyak penduduknya.
    [1] https://www.cbsnews.com/news/outage-map-att-where-cell-phone...