Mereka yang mendambakan kepastian sedang mendambakan kebohongan

• Grafik frekuensi kata di Google Ngram Viewer dapat mendistorsi perubahan penggunaan bahasa Inggris abad ke-20 karena data Google Books dan cacat rumus perhitungannya, sehingga bahkan kata umum seperti said dan toast tampak seolah menghilang pada 1970–1980-an lalu hidup kembali
• Korpus Google Books berisi banyak materi yang dikumpulkan dari universitas serta porsi besar jurnal ilmiah/akademik modern dan buku teks, sehingga dapat menggembungkan frekuensi beberapa kata dan secara relatif menurunkan frekuensi kata lain
• Karena long s(ſ) pada cetakan lama, variasi ejaan, bentuk jamak, dan tanggal yang salah, Ngram gagal membedakan dengan tepat kasus seperti fuck dan suck, authorise dan authorize, serta dog dan dogs
• Penjelasan etimologi Etymonline didasarkan pada bahan cetak dan kerja manusia, tetapi Ngram lebih mirip materi visual dekoratif sehingga saat bertentangan dengan penjelasan etimologi sulit untuk dipercaya
• Di internet, gambar lebih mudah dipilih daripada tulisan, tetapi grafik Ngram seharusnya diperlakukan bukan sebagai bukti pasti penggunaan kata, melainkan sebagai visualisasi data yang tidak sempurna

---

Frekuensi kata aneh yang diciptakan Google Ngram

• Di Google Ngram Viewer, frekuensi said lebih mirip kurva yang bergelombang seperti grafik suhu pada zaman es terakhir ketimbang perubahan nyata kata kerja bahasa Inggris pada abad ke-20
  • Bukan berarti penulis berbahasa Inggris pada 1970-an tiba-tiba berhenti memakai said lalu mulai memakainya lagi
• toast juga muncul di Ngram seolah hampir lenyap dari bahasa Inggris sekitar 1980 lalu muncul kembali
  • Ini diibaratkan sebagai “kelaparan roti panggang besar tahun 1977”
• Salah satu sumber masalahnya ada pada cacat lama yang sudah dikenal dalam rumus Ngram yang diwarisi dari Google Books
  • Kesalahan ini membuat banyak kata bahasa Inggris tampak terus menurun sepanjang abad ke-20 lalu bangkit lagi sekitar 1980
• Korpus Google Books memuat banyak bahan cetak yang diserap dari universitas, dan proporsi jurnal ilmiah/akademik modern serta buku teks juga terlalu besar dan tidak seimbang
  • Tulisan akademik cenderung berulang kali memakai beberapa kata yang sama
  • Akibatnya, skor beberapa kata membengkak, sementara kata lain relatif turun
  • Struktur ini menjadi penyebab munculnya penurunan di pertengahan abad ke-20 pada Ngram hampir semua kata
• said kemungkinan jauh lebih jarang dipakai dalam tulisan akademik dibanding novel atau surat kabar, sementara kata seperti graph jauh lebih sering dipakai dalam tulisan akademik
  • Ngram abad ke-20 untuk graph tidak menunjukkan penurunan yang sama

Distorsi yang dibuat oleh OCR, ejaan, dan kesalahan tanggal

• Di Ngram, F-word tampak seolah hampir tidak dipakai sebelum era modern, lalu penggunaannya melonjak tajam semakin mendekati masa sebelum 1820
  • Banyak dari contoh itu sebenarnya bukan fuck, melainkan suck lama
  • Long s(ſ) pada cetakan lama, dalam font kuno dan kertas murah, bisa tampak seperti huruf kecil f
  • Karakter ini mulai jarang dipakai sekitar 1820, dan kadang hanya konteks yang bisa membedakan f dan s
  • AI dianggap tidak memahami perbedaan ini
• Google Books juga tidak pandai mengenali kesetaraan variasi ejaan
  • Ngram untuk authorise berbeda dari authorize, dan keduanya juga tidak mencakup authorizes
  • Pada Ngram kata benda, bentuk jamak juga tidak dihitung bersama, sehingga dog dan dogs diperlakukan terpisah
• Ada banyak file Google Books yang diberi tanggal secara keliru
  • 1896 di sampul buku perpustakaan lama bisa terlihat sebagai 1800 bagi pemindai digital
  • Pernah ada bundel pamflet Alkitab dari 1910-an yang untuk sementara ditandai sebagai terbitan tahun 1799
  • Tanggal itu bukan tanggal terbit, melainkan tahun pendirian yang ada di logo asosiasi pamflet Alkitab yang mencetaknya
  • Ada juga video yang membahas masalah terkait
• Teks Etymonline sepenuhnya disusun dari bahan cetak dan dikerjakan manusia, tetapi Ngram tidak demikian
  • Ngram dinilai sebagai hasil kasar dari teknologi yang bodoh dan sulit dipercaya
  • Ngram ada di situs itu karena lingkungan online membuat gambar menang dan tulisan kalah
• Ngram lebih tepat dilihat sebagai visual dekoratif atau selingan, bukan diterima secara pasti sebagai bukti penggunaan kata
  • Jika penjelasan etimologi Etymonline sejak awal bertentangan dengan Ngram, maka posisi yang diambil adalah Etymonline benar dan Ngram salah

[GN⁺]

Komentar Hacker News

• Menurut saya bagian terbaik dari tulisan ini adalah kritik terhadap ngrams, dan lebih luas lagi kritik terhadap cara ngrams digunakan secara luas dalam algoritme modern
  Bagian yang sangat tajam adalah ketika disebutkan bahwa Etymonline berasal dari sumber cetak dan teks buatan manusia, sementara ngrams adalah produk kasar dari teknologi bodoh yang bahkan belum belajar membedakan “influence” dan “inform”
  Ini terbaca seperti sanggahan pedas terhadap algoritme dan media sosial yang berusaha mengukur ucapan serta interaksi manusia, tetapi sebagian besar keliru sambil mengejar maksimalisasi keuntungan pemiliknya
  Di era ketika AI generatif pada dasarnya disebut sebagai prediktor ngram, ini terasa makin berat

  • Bagian yang mengatakan “Etymonline sepenuhnya berasal dari sumber cetak dan teks buatan manusia, sedangkan Ngrams tidak” agak membingungkan
    Jika “sumber cetak” berarti tidak mencakup sumber digital, itu tampaknya tidak terlalu berkaitan dengan masalah yang dibahas dalam tulisan
    Jika tidak mencakup semua materi cetak secara lengkap, masalah dataset yang bias tetap bisa muncul, dan manusia juga bisa melakukan kesalahan seperti OCR
  • “Dipengaruhi” dan “mendapat informasi” tampak seperti dua sisi dari koin moral yang sama
    Polanya seperti mengatakan bahwa pikiran orang lain bukan milik mereka sendiri, sementara kita mengklaim diri sebagai penerima informasi yang berbudi karena menarik kesimpulan sendiri
    Filter low-pass dalam benak hanya menerima hal-hal yang cocok dengan kerangka yang sudah ada
    Jika Anda tidak menolak sesuatu, maka mendapatkan informasi darinya dan dipengaruhi olehnya adalah hal yang sama; dalam kerangka seperti itu, orang yang berkata “saya hanya mendapat informasi” terdengar sok pintar dan kurang sadar diri
  • Pengetahuan di tingkat tertinggi masih ada pada materi cetak, dan masih dibuat oleh manusia
    Media elektronik seperti jiwa yang melahap: tidak memproduksi, hanya menelan habis

• Lelucon di komentar halaman itu, “apakah penerbit masih memesan beberapa truk penuh kata ‘is’ setiap musim pencairan salju...” memang benar di Dictionopolis
  Ada yang suka The Phantom Tollbooth?
  https://en.wikipedia.org/wiki/The_Phantom_Tollbooth

• Masalah mendasar dalam analisis data adalah kualitas analisis hanya sebaik kualitas data
  Menilai kualitas data saja sudah sulit; bagaimana mengetahui apakah data itu baik, bagaimana bisa yakin, serta bagaimana mengukur dan melaporkannya, semuanya tidak mudah
  Bahkan jika ada penilaian kualitatif dan kuantitatif atas kualitas data, masih ada masalah bagaimana menyajikannya secara terpadu dengan hasil analisis
  Untuk mengoreksi hasil secara kuantitatif sesuai kualitas data, diperlukan banyak penyesuaian khusus pada tiap proyek, dan itu melampaui grafik garis sederhana
  Untuk Google Ngrams, mungkin komposisi sumber data dari waktu ke waktu bisa dibagi ke kategori besar seperti “akademik” dan “berita” lalu ditampilkan dalam bagan, tetapi setiap dokumen harus diberi kategori, dan tautan serta teks penjelasan juga harus ditempatkan di posisi yang mencolok agar orang benar-benar melihatnya
  Meski begitu, itu tidak akan mencegah reaksi intuitif seseorang ketika melihat deret waktu yang menunjukkan penurunan penggunaan sebuah kata
  Cara yang lebih baik mungkin adalah mengkuantifikasi ketidakpastian dalam deret waktu penggunaan kata dan menumpangkannya pada bagan
  Namun di sini jumlah pemakaian itu sendiri akurat, sedangkan ketidakpastian berasal dari pengambilan sampel, sehingga perlu diperkirakan seberapa berbeda semua dokumen yang digunakan pada titik waktu tersebut dengan dokumen sampelnya
  Mungkin saja bisa dilakukan, tetapi tampaknya tidak mudah; sekalipun dilakukan, masih menjadi masalah apakah orang akan menafsirkan penanda ketidakpastian dengan benar, atau hanya melihat garis yang menurun lalu mengabaikan sisanya
  Saat kita memasuki era AI, kita perlu mengingat masalah ini
  Dalam hidup kita pun sama: kita belajar dari data yang kita amati dan membentuk opini, tetapi seberapa baik data yang kita lihat dan apakah kesimpulan kita valid selalu menjadi pertanyaan

• Para penulis menegaskan bahwa statistik ngram untuk “said” salah dan berbicara seolah ada bukti yang bertentangan, tetapi tidak benar-benar menyajikan bukti
  Di situs mereka sendiri pun hanya menyediakan statistik Google ngram: https://www.etymonline.com/word/said#etymonline_v_25922
  Ditambah lagi dengan kegagalan besar karena tidak menampilkan angka 0 pada sumbu y grafik dan interpretasi grafik yang keliru, ini sama sekali sulit dipercaya dan tampak seperti tulisan berkualitas sangat rendah

  • Pemakaian “said” turun menjadi setengahnya dalam 60 tahun, lalu pulih ke level sebelumnya dalam 20 tahun berikutnya? Mereka harus menunjukkan bukti bahwa bahasa Inggris berubah secepat itu dengan cara seperti itu
    Klaim seperti itu luar biasa, jadi butuh dasar yang meyakinkan
    Jika tidak ada dasarnya, saya akan percaya hipotesis dan kesimpulan tulisan itu bahwa ngrams memang kacau
    Memang benar grafik “toast” ditafsirkan keliru, dan grafik buruk yang dipotong di titik rendah itu seharusnya dibaca dengan lebih hati-hati
  • Alasan sulit menyajikan bukti adalah karena sumbernya pada dasarnya hanya satu
    Jadi tulisan itu pada dasarnya menunjukkan cacat dalam metodologi Google Books/Ngram
    Saya menganggap pendekatan semacam ini valid
    Kalau tidak, kita akan menerima sesuatu yang cacat hanya karena ia ada dan mudah dipakai
    Untuk menjawab pernyataan “karena yang paling banyak di-tweet adalah X, maka itulah yang paling populer dan penting”, tidak berarti kita harus melakukan penelitian terpisah demi menemukan kebenarannya
    Cukup mengatakan, “itu metodologi yang bodoh, jadi jangan menerimanya hanya karena Twitter berkata begitu”
  • Yang diinginkan mungkin adalah seseorang memeriksa sumber seperti surat kabar dan memastikan bagaimana rasio frekuensi “said” berubah dari waktu ke waktu
    Itu tuntutan yang masuk akal, tetapi menurut saya tidak masalah juga jika penulis, sebagai pakar, mengatakan bahwa surat kabar terus memakai said dengan frekuensi yang serupa
    Penjelasan itu masuk akal, dan saya tidak melihat beban pembuktian harus selalu ada pada penulis
  • Bukan pihak yang mengatakan bahwa “said” turun lalu naik lagi seperti pada grafik yang perlu menyediakan bukti
    Justru klaim luar biasa bahwa kata itu berubah dengan cara seperti itulah yang membutuhkan bukti
    Klaim itu berasal dari pihak Google, dan sebelum menyalahkan penulis blog, kita harus melihat seberapa representatif dataset yang tidak terlihat itu
    Apakah kita harus menerima begitu saja statistik yang dataset input-nya tidak kita ketahui, dengan sikap “percaya saja pada Google”?
  • EtymOnline bukan tempat untuk melacak perubahan popularitas kata, melainkan tempat yang mencoba melacak perubahan makna
    Jadi dapat dimengerti jika entri “said” tidak memiliki bukti tandingan yang spesifik
    Alasan tidak adanya bukti di teks utama juga karena klaim bahwa “said” turun hingga hampir sepertiga dari puncaknya adalah klaim yang jauh lebih luar biasa, sehingga membutuhkan bukti kuat
    Mengatakan “sekilas saja ini sama sekali tidak masuk akal, dan sangat mungkin disebabkan oleh perubahan besar dalam komposisi genre dataset Google” sudah cukup

• Grafik Ngram tidak mengatakan bahwa toast nyaris menghilang dari bahasa Inggris sekitar 1980 lalu muncul kembali
  Yang tampak hanyalah pemakaiannya turun sekitar 40% sejak 1800
  Seperti yang dikatakan orang lain, jelas ada masalah bahwa sumbu y tidak dimulai dari 0
  Namun jika para penulis etymonline tidak menyadari itu dan membuat pernyataan keliru, ini sulit dipercaya; apalagi contoh berikutnya “lihat, tidak ada penurunan” lebih ironis karena sumbu y-nya 0 dan sekitar 1980 juga tampak sedikit periode stagnan
  Terlebih lagi jika mengingat judul dan kalimat pembukanya yang berlebihan dan agresif

  • Bukan hanya sumbu grafik yang bermasalah
    Bukan pemakaian “toast” yang turun 40%, melainkan dataset Google yang berubah drastis menjadi komposisi genre yang sangat berbeda dari sebelumnya
    Saya pernah berbicara dengan orang-orang yang mencoba menjelaskan penurunan pada 1970-an, dan tidak seorang pun, termasuk saya, menyadari bahwa itu adalah cacat data yang dramatis

• Menurut saya judul tulisan ini tidak begitu tepat
  Hasil seperti ini lebih dekat dengan hasrat clickbait, atau versi ilmiahnya, daripada “kejernihan”
  Misalnya, artikel di Science atau Nature tidak secara khusus lebih mungkin benar, tetapi terutama di bidang seperti fisika yang bukan bidang inti mereka, artikel itu cenderung mencolok dan ekstrem
  Sebaliknya, nama “Real Clear Politics” selalu terdengar keras bagi saya
  Karena menurut saya dalam politik tidak ada yang “Real” maupun “Clear”
  Menurut saya buku terbaik tentang politik adalah Fear and Loathing on the Campaign Trail ‘72 karya Hunter S. Thompson
  Itu adalah catatan pengalaman pribadi yang mengikuti para kandidat, menjemput hitchhiker pada pukul 3 pagi, mabuk obat di kereta, tetapi juga memiliki momen-momen jernih yang tajam, seperti memahami prosedur konvensi yang membuat McGovern meraih nominasi
  Dua puluh tahun lagi akan ada buku yang teliti, dengan argumen kuat bahwa semua yang kita percayai tentang peristiwa politik hari ini ternyata salah dan yang sebenarnya terjadi adalah hal lain
  Sementara itu orang-orang akan memiliki sudut pandang yang sangat berbeda, dan itulah kenyataannya
  Kata sifat seperti “real” dan “clear” adalah upaya untuk menutup sebagian besar sudut pandang itu dan mengistimewakan satu sudut pandang saja
  Saya juga teringat bagaimana Baudrillard membongkar habis kata “real” dalam Simulacra and Simulation
  Itu membuat masuk akal bahwa orang-orang yang menjual kepalsuan mengedepankan kata “real”
  Scientology menyebut dirinya “ilmu kepastian” juga berada dalam konteks yang sama

  • Buku yang akan terbit 20 tahun lagi itu pun akan salah
    Salah satu hal baik tentang politik adalah motifnya sangat jelas
    Para politisi pertama-tama ingin mempertahankan kekuasaan, dan keinginan untuk memperbaiki keadaan datang setelahnya
    Setelah mengetahui ini, semuanya menjadi masuk akal
    Hal yang sama berlaku sekalipun kita pada akhirnya tidak pernah tahu apa yang sebenarnya terjadi

• Citra representatif tentang masa lalu tidak akan pernah bisa dibuat
  Kita harus bekerja hanya dengan sumber-sumber terbatas yang bertahan, dan sumber-sumber itu tidak tersebar merata dalam waktu maupun ruang
  Ketika seseorang meninggal, terjadi kehilangan data yang mendasar: kesan, pengalaman yang tidak tercatat, bahkan bau yang familier ikut lenyap
  Ingatan orang yang masih hidup pun pada titik tertentu bisa menjadi sulit dipercaya

  • Karena itu saya selalu merasa aneh mengapa hanya orang-orang dengan representasi sosial yang terdistorsi oleh ketenaran atau kekayaan yang akhirnya memiliki biografi Wikipedia
  • Bukan hanya pada titik tertentu; ingatan manusia luar biasa sulit dipercaya
    Contoh yang bisa dicoba sendiri: https://youtu.be/vJG698U2Mvo?si=16fwk8wG8Yyhim5t

• Sulit untuk mengatakan bahwa Google Ngram keliru
  Ia melaporkan statistik atas kata-kata yang diidentifikasi dengan benar di dalam korpus
  Masalahnya adalah konteks dari statistik itu
  Kita bisa mengatakan dengan tingkat keyakinan tertentu bahwa “penggunaan said dalam korpus Google Books menurun pada suatu titik waktu tertentu”
  Pada subset korpus tempat OCR mengidentifikasi semua kemunculan kata tersebut dengan benar, kita bisa mengatakannya dengan lebih yakin
  Namun tanpa data yang memadai, kita tidak boleh membuat klaim yang lebih luas bahwa “penggunaan kata ini menurun pada suatu titik waktu tertentu”

  • Jika meme ekonom adalah “tergantung situasinya”, maka meme transendental ahli statistik adalah perlu lebih banyak data
    Sampai kita memecahkan teori penyatuan agung, kita tidak bisa sepenuhnya yakin akan kelengkapan data atau inferensi statistik
    Yang keliru adalah menyesatkan publik hingga menjauh dari pemahaman semacam ini
  • Karena itu, saat membuat statistik inferensial tentang populasi, metodologi pengambilan sampel jauh lebih penting daripada ukuran sampel
    Mengambil sampel 1 juta buku dari korpus akademik dan memilih 10 buku terlaris dari setiap dekade abad ke-20 akan menghasilkan korpus bahasa yang sangat berbeda

• Ini kesalahan klasik pada sumbu vertikal grafik yang tidak menyertakan 0
  Jika Anda berpikir, “Kalau begitu perubahannya tidak terlalu terlihat,” itu benar
  Dengan menghilangkan 0, perubahan kecil pun bisa dibuat tampak besar

  • Sebaliknya, ada juga kasus ketika perubahan kecil memang perlu ditonjolkan
    Jika itu control chart yang menunjukkan berat isi kotak sereal, Anda mungkin tidak ingin memasukkan 0 ke dalam grafik
    Kita juga tidak perlu menggambar grafik suhu harian sebuah kota sampai mencakup 0 kelvin
  • Apakah hanya saya yang berpikir grafiknya sendiri baik-baik saja, dan teksnya saja yang agak melebih-lebihkan?
    Setelah tampak stabil selama hampir satu abad, tiba-tiba terjadi penurunan sekitar 50%
  • Menyertakan 0 akan membantu grafik “said”, tetapi tidak akan menyelesaikan masalahnya
    Tetap saja “said” akan terlihat seolah turun hingga hampir sepertiga dari popularitas sebelumnya, padahal sebenarnya komposisi sampelnya berubah besar

• Apakah ini berarti n-gram-nya keliru, atau bahwa hal yang bisa dikatakan dengan n-gram memang terbatas?
  Datanya menarik, tetapi saya tidak yakin kesimpulan apa yang harus diambil
  Rasanya aneh, seolah-olah kita menanyai buku-buku masa lalu dengan kosakata masa kini
  Contoh mudah yang saya tahu: jika mencari “þe”, hasilnya tidak banyak
  Secara historis, itu kurang lebih benar dalam arti “þ” menghilang sekitar tahun 1400-an
  Namun jika memasukkan “ye” juga, terlihat jumlah penggunaan yang sangat besar
  Apakah ini memang fungsi yang dimaksudkan dari n-gram?
  Ini lebih terlihat seperti kesalahan encoding yang diwariskan dari masa ke masa
  Mirip dengan marah pada Great Vowel Shift sambil tidak menyadari bahwa simbol fonetik kita bukanlah kebenaran universal yang tetap