Pertandingan Netflix Paul vs. Tyson, Keluhan buffering membludak meski ditonton 60 juta rumah tangga

• Siaran langsung tinju besar Netflix mencatat ditonton 60 juta rumah tangga, tetapi keluhan penonton meningkat karena buffering dan gangguan yang terjadi sepanjang pertandingan
• Pertandingan co-main event Katie Taylor vs. Amanda Serrano juga ditonton 50 juta rumah tangga, dan menurut Netflix menjadi ajang olahraga profesional wanita yang paling banyak ditonton dalam sejarah AS
• Layar loading yang lama, buffering tanpa henti, putus-putus tanpa suara, hingga “black screen of death” terus terjadi sehingga sebagian penonton melewatkan momen-momen penting
• Masalah sudah dimulai sebelum main event Paul vs. Tyson dan terus berlanjut dari pertandingan-pertandingan sebelumnya hingga main event, sehingga sebagian penggemar beralih ke livestream lain
• Karena Netflix dijadwalkan menayangkan 2 pertandingan NFL saat Natal pada akhir tahun itu, gangguan kali ini meninggalkan beban terhadap kepercayaan pada siaran langsung olahraga

---

Masalah kualitas siaran langsung yang terlihat di tengah jumlah penonton besar

• Siaran langsung Netflix tidak stabil bukan hanya pada pertandingan Jake Paul dan Mike Tyson, tetapi juga pada pertandingan-pertandingan sebelumnya
  • Penonton mengunggah keluhan di media sosial tentang buffering, komentar yang terputus-putus, dan layar hitam
  • Keluhan dimulai bahkan sebelum Paul dan Tyson naik ke ring
• Skala penontonnya sendiri sangat besar
  • Menurut Netflix, pertandingan Paul vs. Tyson ditonton 60 juta rumah tangga
  • Co-main event Katie Taylor vs. Amanda Serrano ditonton 50 juta rumah tangga
  • Menurut Netflix, pertandingan Taylor vs. Serrano adalah ajang olahraga profesional wanita yang paling banyak ditonton dalam sejarah AS
• Masalah kualitas berlanjut dari pertandingan sebelumnya hingga main event
  • Saat pertandingan kelas welter Mario Barrios melawan Abel Ramos, gangguan terus terjadi sehingga sebagian penonton melewatkan adegan pertandingan
  • Dalam main event Paul vs. Tyson pun masalah masih terus berlangsung

Menonton lewat jalur alternatif dan kekhawatiran untuk siaran NFL

• Sebagian penonton beralih ke livestream X milik Antonio Brown alih-alih Netflix
  • Mantan wide receiver NFL Antonio Brown memulai siaran video langsung dari AT&T Stadium di Arlington, Texas, lokasi pertandingan
  • Kamera menyorot layar raksasa di stadion kandang Dallas Cowboys
  • Di pertengahan pertandingan Paul vs. Tyson, livestream miliknya mencatat 6,4 juta penonton
• Netflix dijadwalkan menayangkan 2 pertandingan NFL saat Natal pada akhir tahun itu
  • Masalah streaming dalam siaran langsung tinju kali ini memicu kekhawatiran terhadap kualitas siaran langsung olahraga ke depan

[GN⁺]

Pendapat di Hacker News

• Setiap kali perusahaan besar tersandung cukup parah, di thread seperti ini hampir pasti ada dua kelompok yang punya banyak informasi, tetapi jarang menulis: 1) orang yang terlibat langsung dalam kejadian itu atau karyawan di perusahaan yang sama, 2) orang dari perusahaan serupa yang mengoperasikan sistem dengan skala dan risiko serupa
  Kelompok pertama punya terlalu banyak hal yang bisa hilang jika melewati organisasi humas, sementara kelompok kedua tahu betapa sulitnya hal ini sehingga tidak akan secara terbuka menghajar orang yang melakukan pekerjaan serupa dengan spekulasi tanpa dasar
  Jadi yang tersisa adalah orang-orang yang memberikan insight berdasarkan cara kerja di skala kecil atau prinsip pertama

  • Berbeda dengan kutu buku komputer zaman dulu yang gigih mengembangkan sesuatu sebagai hobi, saya sering melihat sikap seperti ini di antara developer karier yang relatif baru dan masuk karena uang
    Mereka adalah tipe yang pindah dari bidang nonteknis lain sekitar lima tahun lalu, belajar dari materi yang terlalu disederhanakan yang meremehkan konsep system programming, networking, dan ilmu komputer sebagai tidak perlu dan tidak praktis, lalu mereduksi semuanya menjadi menulis kode perekat JavaScript di antara paket NPM yang ditemukan lewat Google
    Di masa sekarang ketika ungkapan “sekarang siapa pun bisa belajar coding cukup dengan memakai LLM” begitu merajalela, kecenderungan untuk menyederhanakan secara berlebihan sistem kompleks yang sebenarnya tersembunyi di balik antarmuka, paket, dan lapisan abstraksi, lalu berbicara dengan nada memastikan, terasa mengejutkan
    Ini mengingatkan pada pseudosains kuantum atau film seperti What the Bleep Do We Know!?, ketika orang tanpa latar belakang fisika kuantum atau sains menarik kesimpulan absurd dari model sederhana tanpa matematika
  • Sepenuhnya setuju. Di antara mantan karyawan pun ada orang yang sebenarnya tahu apa yang mungkin terjadi, tetapi hal-hal seperti perjanjian kerahasiaan membatasi apa yang bisa mereka katakan
    Dari posisi orang yang tahu situasinya, ini membuat frustrasi, tetapi ada garis yang tidak bisa atau tidak mau dilewati
    Setiap kali thread HN membahas topik yang pernah saya tangani langsung secara profesional, saya jadi memilih diam melihat orang-orang yang tidak tahu apa-apa mengatakan hal-hal yang salah dengan setegas dan sepercaya diri yang diizinkan ego mereka
  • Benar. Salah satu keluhan umum dari orang luar adalah bahwa Netflix memakai microservices, dan saya ingin mendengar secara detail bagaimana sebuah aplikasi monolitik persisnya akan menjamin performa yang lebih baik
    Saya penasaran perbedaan ajaib macam apa yang katanya akan membuat siaran langsung itu berhasil
  • Proyek peluncuran TV live yang pernah saya ikuti runtuh total sekitar 2 menit setelah dimulai, dan menjadi bahan ejekan di HN dan Reddit
    Karena saya tahu semua orang bekerja sangat keras dan betapa kompetennya mereka, saya jadi bisa berempati dengan orang-orang dalam kasus seperti ini
    Sementara internet melempar lelucon mudah, para engineer menyerbu masalah yang belum terpecahkan, PM mondar-mandir di lorong, dan ada orang-orang yang dimarahi leadership
    Rasanya seperti stres dan kompleksitas peluncuran produk dikalikan 100, dan yang saya maksud bahkan bukan video siaran langsung, hanya sebuah situs web
  • Kedengarannya pada akhirnya seolah-olah semua orang yang mengkritik Netflix sekarang tidak tahu apa-apa
    Padahal orang yang tahu kondisi internal bisa saja menulis di sini tanpa mengungkapkan bahwa dirinya orang dalam; itu klaim yang cukup berani
    Saya merasa ini semacam argumen No True Scotsman

• Untuk menangani masalah seperti ini, organisasi harus benar-benar membangun ototnya dengan terus mengulang acara live
  Tidak bisa dengan cara tim teknologi menggelar event raksasa sekali jalan di area yang belum berpengalaman

  • Di organisasi teknologi, perdebatan seperti ini sering muncul: hal yang ingin kita lakukan harus selalu kita lakukan
    Misalnya, “selalu build” berarti harus melakukan build meski kode tidak berubah atau tidak ada PR. Sesuatu dalam organisasi atau infrastruktur kemungkinan besar sudah berubah, dan menurut saya lebih baik melihat build gagal pada software yang sudah dirilis daripada gagal pada software yang harus dirilis sekarang
    “Selalu rilis” juga sama: meski tidak ada yang berubah, tetap harus mengirim rilis. Sistem harus diberi beban dan prosedurnya harus terus dijalankan
    Saya benar-benar sering melihat deployment gagal hanya karena sudah lama tidak pernah dicoba. Jika sesuatu pernah dilakukan sekali dan harus dilakukan lagi di masa depan, itu harus terus diulang untuk dijalankan
  • Netflix sudah mengadakan acara live sejak 2023
    Namun sulit mempersiapkan sesuatu yang belum pernah dilakukan siapa pun, yaitu event berskala Super Bowl yang seluruhnya ditonton lewat internet
    Super Bowl bisa mengalihkan beban ke kabel dan siaran terestrial
    Menariknya, stream saya tidak bermasalah, jadi tampaknya masalah bandwidth mungkin bersifat lokal per data center atau ISP
  • Setuju. Ini sepenuhnya kegagalan manajemen
    Sulit dipercaya bahwa mereka mengharapkan engineering mampu menangani satu event live sebesar ini
  • Selama engineering Netflix tidak merilis postmortem publik, kita hanya bisa berspekulasi
    Saat saya mengoperasikan siaran live skala kecil, saya selalu menyiapkan hingga 3 stream cadangan paralel seperti Vimeo, Cloudflare, dan Livestream
    Pada skala Netflix, mereka mungkin tidak bisa begitu saja memanggil penyedia seperti itu, tetapi saya rasa Akamai atau Cloudflare mungkin bisa
  • WWE akan memindahkan programnya ke Netflix tahun depan; kalau saya, melihat kejadian ini saya pasti benar-benar takut

• Di sini mereka membicarakannya seolah-olah ini masalah khusus yang hanya dialami Netflix, padahal Hotstar menyiarkan langsung pertandingan kriket India vs Pakistan tanpa masalah, dan bahkan mencetak rekor jumlah penonton serentak tertinggi dalam sejarah siaran langsung
  Kenapa penonton yang membayar 20 dolar per bulan harus memahami masalah teknis? Ini murni Netflix yang mengacaukannya
  Teknologi ini sudah ada, ESPN juga pernah melakukannya, jadi tidak ada yang baru

  • The Independent melaporkan jumlah penonton pertandingan kriket itu 35 juta orang [0], sementara Rolling Stone melaporkan Tyson vs Paul di Netflix mencapai 120 juta orang [1]
    Angkanya benar-benar berbeda. 120 juta orang itu setara Super Bowl
    Apakah Hotstar bisa menangani 3–4 pertandingan kriket seperti itu secara bersamaan tanpa masalah?
    [0] https://www.the-independent.com/sport/cricket/india-pakistan...
    [1] https://www.rollingstone.com/culture/culture-news/jake-paul-...
  • Justru itulah intinya. Netflix tidak melakukan ini dalam ruang hampa, melainkan di dalam Netflix
    Mungkin lebih mudah jika membangunnya dari nol atau memakai mitra eksternal yang punya pengalaman siaran langsung
    Namun di Netflix, perusahaan berbasis teknologi yang membanggakan diri sebagai pemimpin industri, kemungkinan keputusan seperti itu muncul mungkin nyaris nol
  • Dibilang “tanpa masalah”, tetapi tergantung siapa yang ditanya, bitrate stream itu jauh lebih rendah daripada level yang dianggap dapat diterima untuk layanan siaran langsung gratis
    Tentu saja layanan gratis itu menayangkannya ke audiens yang jauh lebih kecil
    Bahkan tanpa memperdebatkan detailnya, siaran langsung memang bukan kekuatan Netflix, dan tidak terlihat bagus ketika perusahaan yang tampak seperti jawara komputasi terdistribusi melakukan siaran langsung dengan penurunan kualitas di sisi lain

• Netflix bagus dalam streaming konten siap tayang, tetapi tidak bagus dalam siaran langsung. Meski begitu, 1) ini perusahaan senilai 300 miliar dolar, jadi bukan masalah sumber daya, 2) ini juga bukan siaran langsung skala sebesar ini yang pertama, karena sudah ada pengalaman gagal sebelumnya, dan 3) ada cukup waktu untuk belajar dan melakukan iterasi antara siaran langsung berskala besar pertama dan kedua

  • Masalahnya, mengamankan kapasitas besar yang disesuaikan dengan jumlah penonton puncak itu mahal dan membutuhkan komitmen jangka panjang
    Sebagian penyedia tidak akan memberi kapasitas koneksi tambahan ke jaringan mereka tanpa kontrak prabayar 12 bulan
    Trafik puncak sangat mahal secara biaya operasional, karena harus membuat kapasitas yang akan kosong setelah acara selesai
    Karena itu hal ini sulit, dan di situlah alasan Akamai mengenakan harga yang tidak masuk akal untuk siaran langsung
    Rahasia umum di lapisan jaringan adalah bahwa, bertentangan dengan janji, jaringan pusat data biasanya tidak dibuat redundan
    Untuk membangun jaringan redundan, investasi harus digandakan, dan hanya 50% dari kapasitas maksimum yang boleh dipakai atau harus dibiarkan menganggur. Bagi sebagian besar pelanggan, mencegah downtime 2 jam per tahun yang terjadi saat me-restart router berkapasitas tinggi tidak sepadan secara biaya
  • Masalahnya di sini bukan sekadar terjadi gangguan, tetapi masalah yang sama yang pernah dialami sebelumnya terjadi lagi
  • Bulan depan saat Natal ada NFL. Itu juga akan menjadi sesi streaming besar, tetapi dibandingkan kejadian ini sepertinya tidak ada apa-apanya
    Bahkan Twitter pun bermasalah menangani siaran langsung ilegal di sana
  • Saat Apple meluncurkan Apple Maps, Apple juga jelas perusahaan yang lebih besar daripada Google, tetapi produknya bermasalah untuk waktu yang lama
    Ini bukan masalah sumber daya, melainkan masalah kematangan pengembangan teknologi
  • Penasaran kegagalan sebelumnya itu apa

• Orang-orang tidak benar-benar tahu seberapa banyak jebakan yang bisa muncul dalam siaran langsung
  Netflix punya CDN yang hebat untuk konten siap tayang, dan mungkin mengira itulah bagian tersulitnya
  Siaran langsung telah berubah dari cara mengirim sinyal ke satelit geostasioner dengan antena parabola besar lalu menurunkannya ke pusat siaran, menjadi microwave, serat optik khusus jarak jauh, perangkat yang menggabungkan koneksi beberapa operator seluler, hingga stream HTTP real-time yang diterima server
  Saya penasaran seperti apa rencana pengiriman real-time Netflix dan rencana redundansinya

  • Ini terdengar seperti membuat pembelaan untuk perusahaan bernilai miliaran dolar yang sudah lama berada di bidang ini
    Ini juga bukan pertama kalinya Netflix mencoba siaran langsung. Saya pernah menonton beberapa event di aplikasinya
    Tidak ada alasan. Mengingat sumber daya dan talenta yang mereka miliki, ini terlihat benar-benar amatir, dan buruk untuk citra publik
    Saya akan terkejut jika mereka masih bisa mendapatkan kontrak eksklusif seperti ini lagi ke depannya
  • Inilah tujuan chaos engineering yang dibuat di Netflix. Menguji ketahanan sistem seperti ini
    Sekarang mereka jadi tahu di mana batas “skala besar” untuk solusi siaran langsung Netflix
    Seharusnya mereka tidak gagal karena skala di panggung sebesar ini
    Saya ingin membaca analisis pascakejadiannya
  • Apakah multicast benar-benar digunakan di internet komersial? Sepertinya itu bisa membantu
  • Yang aneh adalah ini masalah yang sudah terpecahkan
    Semua stasiun TV besar bisa menyiarkan Super Bowl tanpa masalah
    Bahkan jika Netflix mengklaim streaming ke 280 juta orang, itu mengasumsikan semua pelanggan menonton, sedangkan angka sebenarnya sekitar 120 juta orang, mirip Super Bowl
    Mungkin Netflix perlu bertanya kepada CBS atau ABC cara melakukan siaran
  • Sepertinya yang dibicarakan adalah contribution transmission dari arena pertandingan ke pusat siaran. Sekarang pun banyak yang melakukan mixing dari jarak jauh, alih-alih mengirim seluruh program
    Ini sangat berbeda dari ranah pengiriman live ke pengguna akhir

• TV kabel, atau antena terestrial jika area layanannya cocok, pada dasarnya merupakan produk tontonan live yang lebih baik daripada streaming apa pun
  Menurut saya, hanya aplikasi Masters yang mendekati itu
  Kombinasi TV kabel + DVR + internet berkecepatan tinggi untuk torrent masih merupakan konfigurasi hiburan yang tak tertandingi, sementara ekosistem streaming berantakan
  Sayang sekali perusahaan kabel menyalahgunakan posisi mereka hingga kehilangan simpati pasar. Koneksi kabel tembaga yang langsung masuk ke setiap rumah di Amerika adalah keunggulan luar biasa, tetapi mereka melewatkannya

  • Yang menarik, banyak infrastruktur TV sekarang berjalan di atas jaringan IP
    Kalau Anda mendaftar sambungan TV di rumah, Anda akan mendapat boks IPTV, menghubungkannya ke router broadband via Ethernet, lalu boks itu akan meminta router upstream mengirim salinan stream multicast
    Streaming multicast yang andal dan redundan pada dasarnya masalah yang sudah hampir terpecahkan, tetapi semua pihak di sepanjang jalur harus bekerja sama
    Kalau ISP menyediakan TV, itu bukan masalah, tetapi kalau Netflix harus meyakinkan semua penyedia untuk mengaturnya demi satu pertandingan tinju sekali jalan, jelas itu masalah
  • Aplikasi Masters benar-benar luar biasa. Saya tidak tahu apakah sudah cukup mendapat pujian
  • Saya juga berencana membatalkan langganan streaming. Mereka terlalu sering menghapus dan mengutak-atik konten
    Bahkan sekarang HBO Max atau apa pun namanya menghapus riwayat tontonan terbaru saya setelah 90 hari, entah kenapa
  • Pertandingan MLB di Apple TV gambarnya benar-benar unggul dibanding siaran langsung kabel

• Ini bukan sekadar buffering biasa. Feed-nya berhenti, dan baru berjalan lagi setelah dijeda dengan remote lalu menekan “watch live” lagi
  Benar-benar parah. Ayah saya selalu penggemar tinju, jadi saya pergi untuk menonton bersama, bahkan memasang layar tiup besar dan proyektor di halaman depan
  Namun buffering terus terjadi, jadi kami mengira masalahnya Wi-Fi, membongkar semuanya dan masuk ke dalam rumah, tetapi hal yang sama terjadi di Ethernet
  Ayah saya sangat menantikan menonton lewat proyektor, tetapi Netflix mengecewakan

  • Saya penasaran apa pendapat ayah Anda tentang “tinju” itu sendiri

• Di beberapa forum yang saya ikuti, orang-orang sudah menyerah begitu saja
  Saya menantikan post-mortem tentang kenapa Netflix tidak siap. Ada sedikit rasa puas juga karena perusahaan itu pernah mewawancarai saya dua kali lalu menolak saya

  • AB84 melakukan siaran langsung dari boks stadion di Twitter ke sekitar 5 juta orang
    Saya menonton lewat Netflix dan tidak bermasalah, tetapi untuk iseng saya juga membuka live stream-nya. Sejauh yang saya lihat, di sana tidak ada masalah
  • Tidak terjadi pada semua orang. Di pihak saya lancar, tetapi ketika saya melewati pertandingan perempuan dan melompat ke pertandingan Barrios Ramos, buffering berhenti di 99% dan saya harus me-refresh halaman
  • Penasaran forum yang mana
  • Post-mortem-nya sepertinya akan sangat menarik

• Saya penasaran apakah kejadian ini akan berdampak pada reputasi jangka panjang Netflix
  Di kalangan software engineer, Netflix dikenal sebagai perusahaan yang merekrut orang-orang terbaik, dan layanan streaming-nya biasanya terlihat sangat solid
  Layanan streaming lain juga sudah banyak mengejar ketertinggalan sejak masa awal dan menjadi jauh lebih stabil, tetapi tetap ada kesan bahwa Netflix satu tingkat lebih tinggi secara teknis
  Kejadian ini tidak membantu kesan itu. Ini bukan error sesaat, melainkan tidak stabil selama berjam-jam, dan tidak bagus juga ketika halaman status menampilkan “Netflix is up! We are not currently experiencing an interruption to our streaming service.”

  • Bukan audiens yang sama, tetapi upaya siaran langsung besar Netflix sebelumnya adalah episode reuni Love is Blind
    Saat itu juga ada jutaan orang yang masuk, hasilnya gagal besar, dan tidak ada yang berjalan dengan benar
    Setelah itu Netflix tidak mencoba siaran reuni live lagi
    Mungkin seharusnya mereka melakukannya, setidaknya untuk membangun pengalaman. Karena sekarang mereka menghadapi masalah yang sama di acara dengan taruhan yang jauh lebih besar
  • Dari yang saya dengar, Netflix sudah cukup mengencerkan budaya yang dikenal dari era Patty McCord
    Khususnya dengan mengubah struktur kompensasi menjadi memberikan RSU, memasukkan proses evaluasi yang merepotkan, menambah level dan jabatan, serta mulai merekrut dari kelompok pasar yang lebih rendah
    Ditambah lagi dengan memindah-mindahkan alokasi headcount, anggaran, dan jabatan, perusahaan secara keseluruhan menjadi jauh lebih birokratis
    Seiring streaming menjadi ranah yang matang dan terpecahkan, perubahan yang lebih mirip pemangkasan biaya seperti ini mungkin tak terelakkan
    Saya ingin mengatakan bahwa jika Netflix mempertahankan tim dan budaya seperti 10 tahun lalu, mereka mungkin berhasil menjalankan streaming ini
  • Performa Netflix berasal dari penempatan cache film bersama di data center ISP, tetapi cara itu tidak cocok untuk siaran langsung
    Masalahnya bukan sekadar jumlah penonton yang besar; model live benar-benar meruntuhkan keunggulan inti infrastruktur Netflix
    Referensi: https://openconnect.netflix.com/en/
  • Jika Netflix masih mewawancarai kandidat dengan puzzle HackerRank, mereka harus menganggap kejadian ini sebagai peringatan
    Wawancara puzzle logika yang tidak relevan tidak bisa menggantikan rekayasa sistem
  • Saya tidak tahu apakah siaran langsung sejak dulu merupakan use case utama Netflix
    Netflix banyak melakukan streaming video prarekaman, dan biasanya memakai cache yang ditempatkan dekat pengguna
    Siaran langsung tampaknya masih menjadi area yang belum mereka kuasai dengan baik

• Pada 2012, YouTube berhasil menyiarkan langsung Red Bull Stratos kepada 8 juta pengguna serentak
  Sekarang, 12 tahun kemudian, Netflix mengacaukannya

  • Menurut saya, perbedaannya adalah pada 2012 perusahaan-perusahaan berfokus menyediakan produk yang baik, entah itu menghasilkan uang atau tidak
    Sekarang lingkungan ekonominya sudah banyak berubah, sehingga perusahaan berusaha meningkatkan laba sambil memangkas biaya
    Akibatnya, penurunan kualitas tidak bisa dihindari
    Netflix pun mungkin saja bisa menyediakan siaran langsung yang sempurna untuk jutaan orang. Masalahnya apakah mereka bisa melakukannya sambil menghasilkan laba yang memuaskan Wall Street, dan tampaknya jelas mereka tidak bisa
  • Lucunya, sekitar tiga hari lalu di HN saya membaca tulisan bahwa teknologi Netflix berada bertahun-tahun cahaya di depan penyedia streaming lain
    Saat melihat kabar bahwa siaran pertandingan ini kacau, itulah hal pertama yang terlintas di benak saya
  • 8 juta dan 60 juta itu berbeda. Selain itu, saat itu juga bukan 4K
    Sebagai pembanding, ini kurang tepat
  • Apakah ada cara bagi Netflix untuk belajar dari kesalahan YouTube di masa lalu?
    Satu-satunya cara yang masuk akal untuk menskalakan hal seperti ini mungkin memang dengan benar-benar mencoba menskalakannya
    Tentu saja ada pelajaran umum yang bisa diambil, tetapi bottleneck arsitektur Netflix, yang selama lebih dari 10 tahun tumbuh dan dioptimalkan untuk konten yang bisa di-cache, akan sangat berbeda dari YouTube
    YouTube telah secara bertahap memperbesar konten live selama bertahun-tahun
  • Kalau video siaran langsung tahun 2012, sepertinya sekitar 480p, bukan?