98% Itu Tidak Terlalu Banyak

• Angka 98% mungkin terlihat tinggi untuk pencapaian luar biasa seperti menang lotre atau mendapat nilai tertinggi dalam ujian, tetapi bisa jadi kurang untuk ranah yang pada dasarnya harus berfungsi, seperti situs web
• Dalam situasi yang menyangkut ekspektasi dasar—seperti restoran tanpa keracunan makanan, pemberi kerja yang membayar upah tepat waktu, atau pelanggan yang membayar sebelum pergi—kegagalan 2% pun menjadi kerugian yang berulang
• Jika sebuah situs web yang menggunakan fitur browser baru hanya berfungsi untuk 98% populasi, perhitungannya berarti sekitar 150 juta orang akan tersisih
• “Dukungan 98% berdasarkan populasi total” bisa berbeda dari distribusi pengunjung nyata; di satu situs pelanggan, dukungan nested CSS di antara browser yang berkunjung selama setahun terakhir hanya sekitar 70%
• Jika fitur baru tidak dapat mengalami degradasi fungsi secara elegan, dukungan 98% bukanlah “didukung secara luas”, melainkan kondisi yang gagal memenuhi syarat minimum dasar bagi sebagian pengguna

---

Situasi ketika 98% tidak cukup

• Makna 98% sangat bergantung pada konteks
  • Menang dengan peluang 98% saat bermain lotre, atau mendapat nilai tertinggi dengan peluang 98% dalam ujian, adalah hasil yang sangat baik
  • Jika pelanggan restoran hanya punya peluang 98% untuk terhindar dari keracunan makanan, bisa ada orang yang sakit setiap bulan atau setiap minggu
  • Jika pemberi kerja hanya membayar upah dengan probabilitas 98%, atau pelanggan hanya membayar dengan probabilitas 98% sebelum meninggalkan restoran, itu sulit diterima
• Dalam situasi yang menyangkut ekspektasi dasar, tingkat kegagalan 2% pun menjadi masalah besar
  • Jika sebuah situs web hanya berfungsi untuk 98% orang, berarti tidak berfungsi untuk sekitar 150 juta orang
  • Jika perubahan pada situs web hanya berfungsi untuk 98% pengunjung, itu pada dasarnya sama saja dengan mengusir 2% pengguna yang sudah ada

Perbedaan antara tingkat dukungan browser dan pengunjung nyata

• Tingkat dukungan berdasarkan populasi umum bisa berbeda dari tingkat dukungan di antara pengunjung situs yang sebenarnya
  • Sekalipun suatu fitur berfungsi untuk 98% populasi total, bagi pengguna nyata situs tertentu fitur itu mungkin hanya berfungsi untuk 70%
• Perbedaan ini terlihat dalam kasus nested CSS
  • nested CSS sudah menjadi standar sejak 2023, tetapi penilaian bahwa fitur ini “aman digunakan” belum tentu berlaku apa adanya untuk situs tertentu
  • Setelah memeriksa distribusi browser selama setahun terakhir di sebuah situs web pelanggan, browser pengunjung yang mendukung fitur CSS baru tersebut ternyata sekitar 70%
  • Fitur yang secara umum tampak “didukung secara luas” pun bisa mengecualikan 30% pengunjung situs tersebut
• Rekayasa yang tangguh lebih dekat pada menangani kasus pengecualian secara elegan daripada sekadar berfungsi untuk mayoritas
  • Jika fitur baru tidak dapat mengalami degradasi fungsi secara elegan, dukungan 98% tetap meninggalkan 2% pengguna dalam keadaan tidak terpenuhinya syarat minimum dasar

[GN⁺]

Opini Hacker News

• 98% sering kali sudah cukup
  Jika sebuah rencana bisnis hanya masuk akal bila harus meraih lebih dari 98% pasar, rencana itu sudah gagal, dan kemungkinan besar hal seperti itu tidak akan terjadi
  Seperti biasa, ini soal “tergantung situasi”. Jika basis penggunanya umumnya tidak akrab dengan teknologi, mungkin Anda harus mendukung browser berusia lebih dari 10 tahun yang bahkan tidak lagi mendapat pembaruan. Namun jika tidak demikian, bisa saja Anda cukup memedulikan orang-orang yang memakai komputer yang setidaknya bisa memperbarui browser sekitar setahun sekali
  Pada akhirnya, trade-off-nya adalah kompleksitas kode dan waktu pengembangan vs pasar yang lebih besar, dan itu perlu dinilai secara terpisah oleh tiap perusahaan

  • Sebagai mantan chef, saya pernah bekerja di 2 restoran Michelin bintang 2, dan 5% saja sudah lebih dari cukup, bahkan luar biasa
    Ada ungkapan “jika berfungsi untuk 98%, berarti tidak berfungsi untuk sekitar 150 juta orang”, tetapi jika dalam satu malam Anda hanya bisa memasak untuk 70 orang, sejak awal Anda memang tidak bisa melayani semua 150 juta orang yang tidak punya akses ke browser terbaru. Orang yang sebenarnya bisa memakai browser terbaru tetapi tidak melakukannya kemungkinan besar juga tidak akan terlalu menyukai makanan saya
    Agar sebuah restoran bertahan, ia tidak perlu memuaskan 8 miliar orang; cukup memuaskan sekitar 1.000 orang yang terus kembali karena hari jadi, ulang tahun, dan kesenangan menikmati makanan kreatif
    Saat bekerja sebagai chef di yacht, saya hanya perlu memuaskan 10 orang, dan saya memakai cara di mana kru dan tamu menyantap makanan yang sama. Karena saya berbelanja sendiri alih-alih bergantung pada perusahaan pemasok, biaya makanan bulanan saat tamu tinggal selama sebulan turun dari sekitar 30 ribu dolar menjadi 10 ribu dolar. Sekitar 2005, bahan makanan di St. Barts mahal karena diterbangkan setiap hari dari Prancis, tetapi berkat itu saya juga bisa menyajikan hidangan seperti chateaubriand dan osso buco kepada kru
    Jadi makanan seimbang, tinggi serat, dan sehat yang ingin saya makan setiap hari menjadi makanan yang dimakan semua orang setiap hari
    Ada orang yang bertanya apakah tamu atau pemilik tidak memberi tahu apa yang ingin mereka makan setiap hari. Sang suami adalah CEO perusahaan Fortune 500 dan, bahkan setelah pensiun, tetap menjadi ketua dewan direksi. Ia membuat keputusan bernilai miliaran dolar setiap hari, dan istrinya juga sangat sibuk. Menjawab menu makan malam setiap hari adalah salah satu hal yang paling tidak ingin mereka lakukan, jadi mereka mendelegasikan keputusan itu kepada saya. Saya selalu membuat apa yang ingin saya makan, dan selalu tepat
    Memuaskan semua orang itu mustahil. Lebih baik jangan mencoba. Nanti Anda rusak sendiri
  • Saat membaca tulisannya, saya merasa, “ini lagi-lagi nasihat paternalistis yang berpura-pura kita punya sumber daya, waktu, dan uang tak terbatas”
    Siapa pun yang pernah mengembangkan situs web atau aplikasi mobile tahu bahwa kombinasi browser dan platform itu sangat banyak, dan mendukung konfigurasi long tail kadang hampir mustahil serta nyaris tidak sepadan dengan biayanya. Dulu saat saya mengoperasikan beberapa web app, cukup banyak error terjadi karena plugin browser yang rusak atau kadang berbahaya. Saya tidak mungkin menguji semua kombinasi plugin browser acak terhadap situs saya untuk memastikan semuanya berfungsi
    Pada akhirnya ini benar-benar tergantung situasi, jadi saya tidak suka pendekatan yang memberi pedoman seragam seperti tulisan itu. Jika 2% pengguna Gmail tiba-tiba tidak bisa login, itu insiden besar yang memengaruhi puluhan juta orang. Namun seperti pepatah “Anda bukan Google”, bagi banyak situs e-commerce kecil, tidak masuk akal berusaha memperbaiki satu orang yang memakai browser berusia lebih dari 10 tahun. Seperti komentar lain, pengguna seperti ini toh termasuk yang paling kecil kemungkinannya untuk berkonversi menjadi pembeli
  • Itu perhitungan yang mengabaikan efek jaringan. Vegetarian di AS kurang dari 10% populasi, tetapi jika sebuah restoran sama sekali tidak punya menu vegetarian, yang hilang bukan hanya 10% itu, melainkan seluruh rombongan yang di dalamnya ada setidaknya satu vegetarian
    Demikian pula, jika sebuah situs web memiliki sedikit saja efek jejaring sosial, mengabaikan sebagian populasi akan menyebabkan penurunan pengguna yang jauh lebih besar daripada persentase yang terdampak langsung
    Bahkan jika fungsi situsnya sendiri tidak memiliki unsur sosial, semua bisnis dipengaruhi oleh efek jaringan berupa word of mouth. Orang jauh lebih sering membagikan pengalaman negatif daripada pengalaman positif, jadi jika 1 dari 50 orang merasa situsnya rusak, sebagian besar umpan balik online akan terisi hal negatif, dan itu merusak reputasi di seluruh pasar, bukan hanya di 2% tersebut
    Dalam bisnis, kita harus bekerja keras bahkan untuk mendapatkan sebagian kecil dari total pasar yang dapat dijangkau. Mengurangi total pasar yang dapat dijangkau secara sengaja sebagai keputusan strategis untuk berfokus pada pasar tertentu itu tidak masalah, tetapi mengecualikan orang tanpa alasan jelas tidak ada gunanya. Restoran BBQ di Texas tanpa menu vegetarian tidak masalah karena tidak ada yang datang dengan ekspektasi itu, tetapi untuk restoran umum, bodoh jika tidak punya beberapa menu vegetarian. Lebih bodoh lagi jika pengembang web mengecualikan orang karena malas memakai cara yang sudah bekerja baik selama 20 tahun terakhir dan ingin memakai teknologi baru yang mengilap
  • Sayangnya, sebagian bisnis adalah layanan esensial, sehingga seseorang tidak punya pilihan untuk tidak menggunakannya, atau biaya untuk tidak menggunakannya sangat besar
    Contohnya Uber, situs web terkait visa dan imigrasi, atau situs pemesanan maskapai murah
  • Bisa saja itu 2% yang berbeda setiap kali. Pada akhirnya, jika mengalami 2% sebanyak 50 kali, Anda akan menyentuh 100% pengguna setidaknya sekali, dan setiap pengguna bisa merasa perangkat lunak itu hanya berfungsi 98% dari waktu. Lalu muncul reputasi sebagai penyedia yang tidak dapat diandalkan
    Tentu biasanya tidak seekstrem itu, tetapi tetap perlu dipertimbangkan. Reputasi negatif menyebar lebih cepat daripada reputasi positif
    Dan jika sesuatu sudah didukung sebelumnya, Anda hanya perlu tidak merusaknya. Biasanya itu lebih mudah daripada membuatnya berfungsi dari awal

• Setelah Natal tahun ini, saat menyingkirkan pohon dari ruang keluarga, daun-daun jarumnya berjatuhan ke mana-mana dalam proses memindahkannya. Saya menyapunya, tetapi pada sapuan pertama ada beberapa tempat yang terlewat, dan setelah sapuan kedua pun masih ada beberapa yang tersisa
  Saat itu saya benar-benar merasakan bahwa menghilangkan lebih dari 99% daun jarum sama sekali belum cukup. Banyak pekerjaan bersih-bersih tampaknya seperti itu. Karena kekacauan yang sangat kecil pun tampak jelas secara visual. Justru semakin mendekati 100%, sisa kotoran yang tertinggal terlihat semakin mencolok

  • Saya merasakan hal yang persis sama setiap kali mencabut gulma di halaman. Setelah membuat tumpukan gulma lalu melihat area yang sudah dikerjakan, gulma masih tampak di mana-mana
  • Mirip dengan sabun antibakteri yang katanya membunuh 99,9% bakteri. Tidak jelas apakah itu berdasarkan jumlah individu bakteri atau berdasarkan jenisnya, tetapi apa pun itu, yang tersisa mungkin tetap jutaan, dan jenisnya juga banyak

• Saya setuju dengan maksud umumnya, tetapi masalahnya di sini bukan karena developer tidak terbiasa dengan statistik, melainkan fakta sederhana bahwa sebagian besar dari semua ini berjalan dengan berorientasi pada pendapatan
  Minggu lalu saya mencoba membeli tiket untuk suatu acara, tetapi jalur resminya hanya Ticketmaster. Mereka memaksa verifikasi akun lewat nomor telepon, tetapi penyedia pesan yang mereka gunakan tidak bisa mengirimkan kode ke nomor saya. Saya juga mencoba beberapa nomor di rumah, tetapi semuanya gagal
  Setelah mencari, ternyata ada banyak kasus dengan masalah yang sama, jadi ini jelas masalah yang sudah diketahui, tetapi praktis tidak ada yang bisa saya lakukan. Bagi mereka ini sekadar hitung-hitungan. Penyedia SMS lain yang mencakup negara kecil saya di UE mungkin lebih mahal. Bisa juga mereka ingin menghindari penipu yang dulu menyalahgunakan operator seluler saya. Apa pun alasannya, biaya untuk memperbaikinya kemungkinan lebih besar daripada kerugian dari tiket yang tidak terjual
  Kecuali lembaga pemerintah memaksa, mereka tidak terlalu peduli apakah saya bisa menonton acara itu

  • Infrastruktur tidak boleh dijalankan murni hanya berdasarkan pendapatan. Cara termudah untuk menaikkan laba operator kereta adalah memangkas jalur yang menghubungkan wilayah kecil dan pedesaan. Sebab secara ekonomi itu jauh lebih buruk daripada melayani kota besar. Cakupan ponsel dan internet broadband juga sama. Pilihan yang paling menguntungkan adalah tidak mencakup beberapa persen penduduk sama sekali
    Ada titik ketika teknologi menjadi dasar partisipasi sosial. Pada saat itu, teknologi harus diatur agar tersedia bagi semua orang
  • Setiap kali topik ini muncul di HN, selalu ada alasan yang sama. Sulit membuat perangkat lunak yang berjalan di mana-mana, terlalu lama untuk menguji lebih dari satu browser, terlalu mahal mempekerjakan orang untuk melakukan porting ke platform X, kami sedang bootstrap dengan tergesa-gesa sehingga tidak punya waktu mendukung orang-orang Y, kenapa harus menguji sistem lama kalau semua orang bisa saja upgrade ke versi terbaru, dan semacamnya
    Sikap seperti ini muncul dari privilese karena belum pernah menjadi 2% pengguna itu. Mudah berpikir seperti itu sampai suatu hari kita sendiri menjadi bagian dari 2% itu dan tidak bisa menggunakan sistem secara langsung
    Saat membuat aplikasi iOS, saya terus kesal karena tech lead dan manajemen produk bersikeras hanya mendukung versi OS utama saat ini dan satu versi sebelumnya. Para engineer menghabiskan waktu untuk mencabut dukungan iOS X-2, bukannya memperbaiki bug, meningkatkan performa, atau mengembangkan fitur. Kode itu tidak menghambat refactoring, tidak terlalu banyak bug, dan tidak merusak arsitektur. Di mata saya itu hanya menyusahkan pengguna, dan saya tidak memahaminya saat itu maupun sekarang
    Sekarang saya memakai ponsel berusia 8 tahun, dan benar saja, sekitar setengah aplikasi di App Store tidak lagi berjalan karena sikap seperti ini. Jadi sekarang sepertinya jelas saya masuk ke 2% itu
  • Ketika orang mengatakan “motif laba”, prinsip dasarnya sebenarnya lebih dekat ke utilitarianisme. Tujuannya memberi manfaat terbesar bagi jumlah orang terbanyak, dan laba hanyalah indikator pengganti yang tidak sempurna untuk itu

• Poin yang lebih luas adalah bahwa persentase bisa menyesatkan. Karena itu persentase sering digunakan seperti itu, agar terlihat lebih baik
  Biasanya cara yang lebih akurat adalah memakai notasi rasio peluang seperti “1 dari 50 orang”, alih-alih 98%. Persentase memiliki semacam singularitas di kedua ujungnya, dan perubahan angka kecil bisa membuat perbedaan besar di dunia nyata. Kenaikan tingkat keberhasilan dari 98% ke 99% terdengar sepele, tetapi itu berarti kegagalan turun dari 1 dari 50 orang menjadi 1 dari 100 orang. Efeknya jadi dua kali lipat

  • Sepertinya itu memang inti tulisannya
  • Konteksnya berubah tergantung hasil yang diinginkan berada di ujung mana dari probabilitas
    SPF adalah contoh seperti ini. SPF 30 membiarkan 1/30 sinar ultraviolet lewat, yaitu 3%, dan memblokir 29/30, yaitu 97%. SPF 50 membiarkan 1/50 lewat, yaitu 2%, dan memblokir 49/50, yaitu 98%. Dalam kasus ini, menyatakan dengan penyebut jauh lebih intuitif untuk menunjukkan efeknya
    Membandingkan SPF 30 dan 50 lebih baik memperlihatkan peningkatan efek daripada membandingkan 97% dan 98%
    Bisa saja dinyatakan sebagai jumlah yang lolos, tetapi namanya Sun Protection Factor, bukan Sun Transparency Factor
  • Dalam banyak kasus, odds lebih baik daripada probabilitas. Terutama ketika perbedaan kecil di kedua ujung probabilitas berarti perbedaan besar di dunia nyata
    Namun ada kasus ketika perbedaan kecil di kedua ujung juga benar-benar kecil. Terutama pada nilai harapan. Misalnya, bandingkan menerima 100 dolar dengan probabilitas 98% dan menerima 100 dolar dengan probabilitas 99,9%
    Nilai harapan yang kedua hanya sedikit lebih tinggi daripada yang pertama. Selisihnya 1,90 dolar, yaitu 99,9 dolar dikurangi 98 dolar. Sebaliknya, perbedaan odds sangat besar. (0.999/0.001)/(0.98/0.02)≈20.39. Artinya probabilitas 99,9% memiliki odds 999 banding 1 dan probabilitas 98% memiliki odds 49 banding 1, sehingga yang pertama lebih dari 20 kali lebih tinggi, tetapi ekspektasi keuntungannya hampir sama
  • Yang dinaikkan adalah efektivitas dari 98 menjadi 99; itu bukan perubahan besar. Yang sebenarnya dilakukan adalah mengurangi ketidakefektifan hingga separuhnya, dan itu perubahan besar

• Artikel terkait: Science is a strong-link problem
  https://news.ycombinator.com/item?id=35712694
  Sesuatu seperti lotre adalah masalah tautan kuat. Nilai sistem sama dengan nilai tautan terkuatnya. Keamanan pangan adalah masalah tautan lemah. Keamanan makanan ditentukan oleh satu suapan makanan yang paling tidak aman
  Penulis tampaknya mendukung standar tautan lemah untuk CSS. Maksudnya, apa yang dilihat mayoritas lebih penting, dan satu atau dua keberhasilan besar tidak bisa menebus kegagalan

• Saya teringat lagu Meat Loaf “Two Out of Three Ain’t Bad”. Di Jepang, lagu itu dirilis dengan judul seperti 66%の誘惑 “66% is Good Enough” https://www.discogs.com/release/8303076

  • 誘惑 sepertinya lebih dekat ke “daya pikat, godaan, menggoda”

• Saya rasa ada dua jenis besar masalah. Masalah yang bisa mendapat nilai parsial, dan masalah yang tidak bisa
  Contoh restoran termasuk yang tidak bisa mendapat nilai parsial. Mengatakan 98% makanannya aman tidaklah cukup; harus semuanya aman, kalau tidak ya tidak ada artinya. Gaji karyawan juga sama: harus semuanya dibayar, kalau tidak menjadi masalah besar. Sekali saja gaji terlewat, itu menjadi masalah luar biasa
  Namun CSS sebuah situs web bisa mendapat nilai parsial sampai batas tertentu. Meski tidak sempurna, secara teori masih bisa memberi sebagian nilai
  Saat mengukur persentase “selesai”, sangat penting untuk mengetahui jenis masalah apa yang sedang Anda hadapi

• Saya teringat statistik bahwa sebagian besar pelanggan tidak akan pergi ke supermarket tertentu jika beberapa barang yang mereka inginkan tidak lagi dijual di sana
  Tidak menyediakan satu merek olesan cokelat mungkin tampak sepele, tetapi jika karena itu seorang pelanggan juga tidak membeli 12 bahan makanan lain yang ia butuhkan di toko tersebut, fakta bahwa produk yang dihentikan hanya 2% dari keseluruhan tidak banyak berarti. Komposisi produk supermarket stabil bukan karena tidak ada yang membuat produk baru, melainkan karena perubahan dalam persentase kecil pun membuat pelanggan kesal
  Kalau saya tidak bisa memesan di sebuah situs web, saya tidak akan mencoba lagi. Minggu depan browser ESR mungkin diperbarui dan mulai berfungsi, tetapi pada saat itu saya sudah tidak akan mengklik tautan itu di hasil pencarian

  • Bukankah Aldi bergerak berlawanan dengan teori itu?

• Sebagian masalahnya adalah situs web pemerintah AS dan pemerintah Inggris memakai “aturan 2%” dan secara resmi hanya mendukung 98%
  Tiga tahun lalu, pangsa Firefox 2,2% disebut sudah mendekati risiko dukungannya dihentikan di situs web pemerintah, dan sekarang sudah turun menjadi 1,9%
  https://news.ycombinator.com/item?id=36776603
  Menurut https://analytics.usa.gov/, “ada 1,66 miliar sesi dalam 30 hari terakhir”. Jika perhitungannya benar, 2% berarti 33 juta sesi

  • Inilah masalah dengan pendekatan berbasis persentase. Dalam sebagian besar kasus, lebih baik memilih 3 implementasi teratas. Dalam contoh browser, itu akan mencakup WebKit, Blink, dan Gecko; dan karena ekor panjangnya toh akan diabaikan dalam skenario mana pun, kemungkinan itu sudah cukup
  • Jika dukungan Firefox dihentikan, apakah itu berarti Firefox diblokir secara aktif?

• Saya tidak suka memperlakukan orang seperti angka
  98% itu bukan banyak ataupun sedikit. Itu hanya salah
  Jika saya termasuk dalam 2% itu, bagi saya itu adalah segalanya. Mungkin ada alasan yang valid mengapa saya berada di dalam 2% itu. Dan sikap tidak peduli terhadap hal tersebut bisa jadi keliru
  Menurut saya, situs web yang hanya berfungsi untuk 2% orang karena alasan yang benar lebih baik daripada situs web yang tidak berfungsi untuk 2% orang karena alasan yang salah