Ketidaksesuaian yang terungkap dalam proses evaluasi AGI dan pemilihan pemenang

 (kaggle.com)
1 poin oleh GN⁺ 3 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Setelah pengumuman hasil hackathon benchmark AGI oleh Kaggle·Google DeepMind, para peserta menuntut pembukaan proses penilaian dan peninjauan ulang dengan dasar masalah perhitungan skor dan reproduktibilitas MEDLEY-BENCH yang meraih juara 1
  • MEDLEY-BENCH menyimpulkan bahwa seiring membesarnya skala model, hanya ‘evaluasi’ yang meningkat sementara ‘kontrol’ stagnan, tetapi pihak pengkritik membantah bahwa kedua metrik naik dengan pola serupa dan metrik dasar juga menunjukkan korelasi tinggi ρ=0.79~0.94
  • Dari peninjauan kode ditemukan 33 bobot manual tanpa studi dasar atau ablasi, 30 kriteria penilaian LLM yang belum tervalidasi, logika yang memperlakukan keyakinan rendah sebagai kebalikannya, serta cara pembuatan data yang memberi ID sama pada klaim berbeda lalu menjumlahkannya
  • MEDLEY-BENCH·GAUGE·Metaproteus hanya memungkinkan pemeriksaan skor tunggal tanpa jejak eksekusi, dan LearningBench juga cukup kompleks hingga butuh berjam-jam untuk memverifikasi kasus individual, sehingga peserta meminta seluruh leaderboard dan hasil evaluasi per kriteria
  • Kaggle menjawab bahwa sekitar 20 juri manusia menilai semua karya pemenang, masing-masing minimal oleh 2 orang dan sebagian oleh 3~4 orang secara independen, serta periode penjurian diperpanjang dari 1,5 bulan menjadi 3 bulan, tetapi skor per submission dan proses pemilihan rinci tetap tidak dibuka

Susunan hackathon dan hasil pemenang

  • Kaggle dan Google DeepMind bersama-sama menyelenggarakan hackathon Measuring Progress Toward AGI: Cognitive Abilities untuk mengevaluasi penalaran, tindakan, dan penilaian model frontier melampaui sekadar reproduksi hafalan
    • Lebih dari 1.000 tim mengirimkan benchmark ke 5 trek kognitif
    • Empat pemenang utama masing-masing mendapat US$25.000, dan 10 pemenang trek masing-masing mendapat US$10.000

4 pemenang utama

  • MEDLEY-BENCH mengevaluasi apakah model mengenali ketidakpastiannya sendiri di bawah tekanan sosial, mempertahankan keyakinan yang ada terhadap tekanan yang keliru, dan merevisi keyakinan saat ada sanggahan yang valid
  • LearningBench mengukur pembelajaran saat inferensi untuk mempelajari aturan sistem berbasis teks yang baru ditemui dalam satu percakapan, bukan pengetahuan pralatih
  • GAUGE memakai tangga metakognitif tiga tahap yang mencakup prediksi tingkat kesulitan masalah, penyelesaian beserta tingkat keyakinan, lalu keputusan mengirim jawaban atau mengundurkan diri berdasarkan imbalan teori permainan
    • Salah satu model frontier menunjukkan akurasi dan kalibrasi terbaik pada 270 item tetapi tidak pernah mengundurkan diri, yang menunjukkan bahwa kemampuan memantau dan kontrol perilaku bisa terpisah
  • Metaproteus mengevaluasi bukan pengetahuan dunia, melainkan seberapa baik model mengetahui distribusi output dan kecenderungan sampling-nya sendiri
    • Setelah menghasilkan output asosiasi kata, instans model baru diminta memprediksi responsnya sendiri, sehingga bisa dibedakan antara kegagalan meremehkan output yang diberikan dengan percaya diri dan kegagalan terlalu menyetujui kata yang bahkan tidak dihasilkan

Pemenang 5 trek kognitif

  • Fungsi eksekutif

    • Turn Bench mengukur secara terpisah perencanaan, eksekusi, memori kerja, inhibisi, dan fleksibilitas adaptif melalui game berbasis giliran yang aturannya sengaja dibuat sederhana
    • Dengan varian game yang memiliki tuntutan saling bertentangan, benchmark ini membedakan fleksibilitas kognitif yang nyata dari default perilaku yang kebetulan cocok pada situasi tertentu
    • Fungsi eksekutif diperlakukan bukan sebagai satu kemampuan tunggal yang tumbuh seiring ukuran model, melainkan sebagai profil yang bergantung pada situasi
    • SecureExec-Bench mengukur apakah model dapat mempertahankan prosedur keamanan sambil bertahan terhadap manipulasi adversarial dalam lingkungan sensitif keamanan seperti respons insiden dan penanganan kredensial

  • Pembelajaran

    • GrammarGym mengevaluasi apakah model dapat mempelajari aturan sintetis baru yang terpisah dari makna, berdasarkan pembelajaran tata bahasa buatan dalam psikologi kognitif
    • Karena tata bahasanya dibuat baru, kemampuan belajar bisa diuji tanpa bergantung pada pengetahuan yang dihafal
    • EphLangBench membuat bahasa pemrograman yang pada setiap sesi mengacak keyword, operator, serta notasi infix, prefix, dan postfix
    • Model harus membaca spesifikasi dalam konteks saja, mempelajari tata bahasa baru untuk menyelesaikan masalah algoritmik, dan memperbaiki error selama beberapa giliran dengan umpan balik compiler
    • Pada 10 model dan 200 soal, tingkat kelulusan terbentang 7~89%, menunjukkan kesenjangan performa yang jauh lebih besar dibanding HumanEval

  • Metakognisi

    • ESFP Benchmark mengevaluasi apakah model dapat beralih antara sikap menyampaikan pandangan ahli dan sikap bernalar sendiri
    • Kemampuan beralih antara mode ‘alat’ dan ‘agen’ sangat berbeda antar model, dan instruction tuning mendorong model ke peran alat yang menekan ekspresi diri otonom
    • Metacognitive Calibration Benchmark menguji secara bersamaan apakah model dapat membentuk hipotesis dari informasi terbatas bergaya penilaian klinis, membedakan bukti dari dugaan, dan menilai kapan informasi tambahan diperlukan saat data tidak cukup

  • Kognisi sosial

    • HedgeDecode mengukur apakah model dapat memahami niat yang disampaikan secara implisit dengan ungkapan halus atau demi menjaga muka, lalu merespons secara sosial tepat tanpa membongkar ekspresi protektif pengguna
    • AdvisorBench mengevaluasi apakah AI memberi saran berkualitas lebih rendah kepada pengguna yang berkomunikasi dengan gaya literasi rendah
    • Benchmark ini mengukur apakah kualitas, kedalaman, dan keterlaksanaan saran menurun sesuai gaya komunikasi

  • Perhatian

    • RIAC secara terpisah mengukur keruntuhan perhatian akibat repetisi ketika model yang semula bisa mengekstrak nilai dari kalimat bersih gagal saat dikelilingi token gangguan berulang
    • ABC mengevaluasi perhatian selektif di bawah interferensi baik pada teks maupun visual, serta membedakan perhatian peka fitur dari perhatian peka struktur berbasis psikologi Gestalt
    • Pengujian pada 15 model dan 2.160 kasus menunjukkan bahwa model yang mahir mencocokkan fitur lokal eksplisit pun bisa gagal ketika harus menemukan kelompok, wilayah, atau unit struktur yang benar

Kontroversi interpretasi hasil MEDLEY-BENCH

  • Thomas Werkmeister mengkritik bahwa pemenang utama peringkat 1, MEDLEY-BENCH, tidak memenuhi kualitas, defensibilitas, kejelasan, dan kebaruan yang disebut sebagai kriteria penjurian
  • Di layar perbandingan model pada Kaggle Benchmarks SDK hanya ditampilkan skor tunggal, sehingga sulit memeriksa proses pengumpulan data atau jejak eksekusi percakapan
  • Hasil pertama ditafsirkan bahwa saat skala model membesar, metrik ‘evaluasi’ berwarna oranye naik sedangkan metrik ‘kontrol’ berwarna biru mendatar, tetapi pihak pengkritik menilai kedua garis dan metrik lainnya menunjukkan tren yang sama
    • Pada keluarga Gemma bahkan muncul bantahan bahwa di grafik kontrol terlihat meningkat lebih besar daripada evaluasi
    • Makalah tambahan melaporkan korelasi antar metrik dasar sebesar ρ=0.79~0.94
  • Setelah menyimpulkan bahwa pelatihan LLM standar lebih mengutamakan kemampuan evaluasi daripada kontrol, MEDLEY-BENCH di bagian lain justru memperlakukan evaluasi sebagai kemampuan yang relatif paling lemah di antara empat kemampuan dasar, sehingga dikritik sebagai kontradiksi internal
  • Jika keempat kemampuan hampir selalu bergerak bersama, maka juga tidak jelas apakah benchmark ini benar-benar mengukur kemampuan yang berbeda secara terpisah

Masalah perhitungan skor dan pembuatan data

  • Peninjauan kode tambahan menunjukkan bahwa total 33 bobot manual digunakan dalam penggabungan skor
    • Sebanyak 24 dipakai untuk perhitungan T1·T2·T3, 8 untuk menghitung perubahan sosial terhadap kondisi privat pada T2, dan 1 untuk agregasi elemen keseimbangan MMS
    • Tidak diberikan dasar maupun studi ablasi untuk setiap bobot tersebut
  • Pada T3 digunakan total 30 kriteria kognitif satu baris dalam 10 kategori penilaian LLM, masing-masing 3 buah, tetapi tidak diuji apakah benar-benar menangkap kemampuan yang dimaksud
  • Prompt memperlakukan keyakinan rendah terhadap sebuah klaim sebagai posisi yang berlawanan dengan klaim itu
    • Pihak pengkritik berpendapat bahwa seseorang bisa memiliki keyakinan rendah terhadap klaim yang sementara dianggap benar, dan menentang sesuatu berbeda dari meyakini proposisi kebalikannya
  • Karena setiap model menulis sendiri klaim 1 sampai 5, ditemukan masalah bahwa bahkan untuk kasus yang sama dan ID klaim yang sama, claim_text bisa berbeda
    • Pada KA_CR_001 bagian C4, isi yang ditetapkan berbeda-beda seperti SQL injection, autentikasi internal dan VPN, penanganan huruf besar-kecil pada allowlist, dan risiko maintainability di masa depan
    • Beberapa model memiliki claim_text bernilai null atau hanya menghasilkan kurang dari 5 klaim
  • Tingkat keyakinan dari klaim-klaim yang berbeda dijumlahkan memakai ID yang sama untuk membuat keyakinan median, posisi mayoritas, dan distribusi posisi, lalu diteruskan ke prompt Step B Social
    • Model kemudian menerima pendapat model lain yang bisa berbeda isi dari klaim 1~5 yang awalnya ia buat sendiri, lalu diminta merevisi klaim yang ada
    • Setelah itu masih diterapkan bobot manual dan penilaian LLM, sehingga muncul kritik bahwa validitas metrik akhir sulit dipercaya
  • Pihak pengkritik menilai seharusnya validasi dilakukan pada unit kecil lalu diperluas, dan bahkan jika hanya satu dari 30 kriteria penilaian LLM ditelaah secara mendalam, hasilnya bisa tetap berguna

Tuntutan reproduktibilitas dan transparansi penjurian

  • Materi yang dibuka ke publik tidak cukup bagi peserta untuk memverifikasi langsung klaim karya pemenang
    • REPRODUCING.md milik MEDLEY-BENCH menunjuk ke folder results/ yang tidak ada di repositori, sehingga proses perolehan hasil hanya bisa dipahami dengan menelusuri balik kode dan JSON
    • LearningBench adalah yang paling baik memanfaatkan SDK di antara pemenang utama, tetapi memverifikasi satu contoh game seperti gated_dual_signal_binding_assoc_learning secara manual tetap bisa memakan waktu berjam-jam
    • GAUGE disebut memakai sekitar 200 kasus, tetapi di layar benchmark hanya terlihat satu eksekusi
    • Metaproteus juga hanya menampilkan satu skor di halaman benchmark, sehingga sulit langsung memeriksa pemicu kata dan metode pengukurannya
  • Agar lebih dari 1.000 tim bisa memahami kekurangan masing-masing, muncul permintaan untuk membuka materi berikut
    • Leaderboard skor seluruh submission
    • Setidaknya skor evaluasi karya pemenang
    • Faktor yang benar-benar diterapkan secara penting dalam penjurian
    • Skor per kriteria dan umpan balik per submission
    • Filter kelayakan awal seperti penanganan hasil seri dan diskualifikasi teknis
  • Salah satu peserta mengutip bobot evaluasi resmi sebagai kualitas dataset dan susunan tugas 50%, kualitas tulisan 20%, serta kebaruan·insight·daya pembeda 30%
  • Pengirim ATLAS menyatakan memiliki 540 game, 6 jenis pembelajaran, 3 tingkat kesulitan, jawaban benar berbasis program, dan diagnosis tipe kegagalan, lalu meminta dibuka pada kriteria rinci mana nilainya lebih rendah daripada karya pemenang
    • Ia juga menanyakan apakah kebaruan paradigma seperti tata bahasa buatan dan bahasa sekali pakai diberi bobot lebih besar daripada daya pembeda
    • Ia meminta penjelasan apakah eksekusi model internal khusus karyawan dilakukan untuk verifikasi teknis saja atau turut memengaruhi penjurian akhir
  • Peserta yang menyelidiki apakah model internal dijalankan menghitung 30 item dari 680 tautan benchmark di 5 trek yang terkonfirmasi menjalankan Claude Fable 5 atau OpenAI o3
    • Investigasi ini dibuat dengan agentic AI, dan bagian yang menyimpulkan bahwa eksekusi model dilakukan untuk tujuan penjurian adalah inferensi peserta tersebut

Cakupan evaluasi dan kecerdasan fisik

  • Peserta lain menilai bahwa karya-karya pemenang terutama mengevaluasi pembelajaran saat inferensi, metakognisi, fungsi eksekutif, perhatian, dan penalaran sosial dalam lingkungan berbasis teks, teori permainan, dan pembangkitan prosedural
  • Benchmark untuk kecerdasan fisik yang menangani hubungan kausal dari vektor gaya, torsi, biomekanika, kinematika, sifat material, atau jejak eksekusi fisik di dunia nyata dinilai sulit ditemukan di antara karya pemenang
  • Untuk ke depan, diusulkan agar disiapkan pipeline evaluasi multimodal khusus yang menerima gerak, gaya, biomekanika, interaksi material, dan informasi sensor dunia nyata
  • Muncul pula tuntutan agar ungkapan AGI yang luas seperti kemampuan “bernalar, bertindak, dan menilai” diselaraskan dengan cakupan nyata dari 5 trek kognitif dan struktur evaluasi yang berpusat pada respons prompt

Jawaban Kaggle dan isu yang tersisa

  • Kaggle menyatakan bahwa hackathon ini diselenggarakan bersama Google DeepMind dan melibatkan sekitar 20 juri dari kedua organisasi
  • Hackathon berakhir pada 16 April, dan awalnya dijadwalkan dinilai selama 1,5 bulan hingga 31 Mei, tetapi diperpanjang 1,5 bulan lagi hingga 13 Juli
  • Semua karya pemenang ditinjau oleh setidaknya 2 juri manusia, dan sebagian dinilai secara independen oleh 3~4 orang sesuai kriteria evaluasi
  • Menurut Kaggle, hackathon yang menilai submission kualitatif memang mengandung subjektivitas manusia, tetapi potensi bias telah dikurangi melalui beberapa penilaian independen
  • Mereka juga menegaskan bahwa penjurian tidak diserahkan secara ceroboh kepada LLM, tetapi leaderboard penuh, skor per kriteria, dan rincian penilaian individual yang diminta tetap tidak disertakan dalam jawaban

Bacaan terkait

1 komentar

 
GN⁺ 3 jam lalu
Komentar Hacker News

  • AI memang berguna, tetapi terlalu banyak orang yang menyerahkan seluruh proses berpikir lalu menerima jawabannya secara membabi buta
    Tampaknya besar kemungkinan Kaggle juga memakai AI untuk menilai submission dan menerima hasilnya tanpa verifikasi yang masuk akal

    • Salah satu penyebab mendasar orang mengalihdayakan proses berpikir adalah tekanan untuk “bergerak cepat”
      Modal menginginkan hasil seketika, jadi tidak ada waktu untuk membaca, mencerna, dan berpikir matang
    • Saya mendorong tim untuk memakai AI/LLM sambil mengeksplorasi potensi dan keterbatasannya, tetapi saya mulai lelah meninjau separuh dari 20 butir yang berisi user story buatan AI yang tidak masuk akal
      LLM hanyalah alat berguna seperti Mr. Meeseeks, bukan Tuhan, jadi output-nya setidaknya harus ditinjau sekali
    • Ada kemungkinan mereka juga memakai prompt injection agar AI menilai mereka sebagai pemenang
    • Kalau diminta jawaban yang diinginkan, AI akan memberikannya begitu saja, jadi saat seseorang hampir tidak paham bidangnya, penggunaan AI terlihat mudah
      Sebaliknya, kalau Anda paham bidangnya, jawaban buruk dan salah akan langsung terlihat; inilah efek Gell-Mann AI yang sedang bekerja
    • Sejak dulu manusia memang suka menyerahkan pemikiran mereka kepada reporter TV, agama, partai politik, dan sebagainya; menurut saya, menyerahkannya ke AI masih lebih baik daripada itu

  • Saya tidak tahu apakah tepat kompetisi ini, tetapi rasanya AI pada dasarnya sudah mengakhiri hackathon yang adil
    Dari luar semua tampak normal, tetapi kode semua proyek dibuat AI, dinilai AI, dan saya bahkan melihat proyek yang menyisipkan prompt bahwa dirinya pemenang benar-benar menang
    Dulu ini ajang adu keterampilan manusia, sekarang jadi adu ide, dan pada akhirnya orang dalam yang paling sering menang

    • Hackathon sudah tidak adil bahkan sebelum AI. Itu juga bisa dilihat di https://news.ycombinator.com/item?id=48468766
      Solusinya adalah ikut atau mengadakan hackathon tanpa hadiah uang. Tujuannya bukan menang, melainkan membuat sesuatu yang keren, mempresentasikannya, dan bersenang-senang
      Justru berkat AI, pembuatan prototipe cepat jadi mungkin, jadi hackathon bisa saja membaik
    • Saya ingin melihat contoh konkret proyek yang benar-benar menang dengan prompt injection agar dinilai sebagai pemenang
    • Saya merasa beruntung tidak terlalu terjun ke hackathon, karena saya tidak ingin mengikat aktivitas membuat sesuatu secara pribadi pada tujuan kompetisi
      Di tempat kerja saya dibayar untuk melakukan hal yang saya sukai, tetapi belakangan saya juga diminta menyuruh komputer yang mengerjakannya
    • Setidaknya hackathon dengan hadiah uang yang nyata menurut saya sudah mati sejak lama
    • Gagasan menyisipkan prompt bahwa diri sendiri adalah pemenang memang cerdik, tetapi juga sangat mematahkan semangat
      Akan bagus kalau ada hackathon manual dan hackathon AI yang dipisah, tetapi seperti dalam game, kecurangan merusak kesenangan

  • Submission AI dan juri AI tampak seperti pasangan sempurna yang dipertemukan di surga AI

    • Kalau meminjam gaya Slavoj Žižek, ini mirip situasi memasang dildo pada alat masturbasi lalu membiarkannya berhubungan seks menggantikan kita
    • Situasi ketika PR yang ditulis AI ditinjau AI juga sama saja

  • Sejak masa awal Kaggle, orang sudah menang kompetisi dengan pendekatan brute force, dan keluhan tentang itu juga sudah berlangsung selama itu
    Machine learning pada dasarnya adalah bidang di mana komputer membangun model lewat seleksi fitur otomatis dan penyesuaian hyperparameter, dan sebagian besar model Kaggle sejak dulu memang black box
    Model pemenang Netflix Prize juga tidak dipakai di layanan nyata karena alasan itu, jadi membuat kode dengan LLM untuk menghasilkan black box tidak jauh berbeda dari praktik yang sudah ada

  • Saya kira Kaggle itu situs untuk mengunduh file CSV meragukan seperti konsumsi kacang tahunan Bolivia
    Saya ragu tempat itu pernah menjadi otoritas yang menyediakan riset orisinal atau data dengan sumber yang jelas, dan kali ini yang tampak menonjol hanya adanya hadiah 25 ribu dolar

  • Saya Nick, manajer produk Kaggle Benchmarks sekaligus salah satu penyelenggara bersama dan juri hackathon AGI ini
    Kompetisi ini diselenggarakan bersama oleh Kaggle dan Google DeepMind, dengan sekitar 20 juri dari kedua pihak. Setelah berakhir pada 16 April, awalnya penilaian direncanakan selama 1,5 bulan hingga 31 Mei, tetapi kemudian diperpanjang 1,5 bulan lagi sampai 13 Juli agar para peserta bisa dinilai dengan semestinya
    Semua karya pemenang ditinjau dan dinilai secara independen oleh minimal 2 juri manusia, dan sebagian oleh 3–4 juri, sesuai rubrik yang dipublikasikan di halaman kompetisi
    Penilaian submission kualitatif memang melibatkan subjektivitas manusia, tetapi kami berusaha mengurangi bias dengan kriteria objektif dan beberapa penilai independen; jadi meskipun ada yang tidak setuju dengan hasilnya, kami tidak secara sembrono menyerahkan penjurian kepada LLM

    • Bukti objektif yang diajukan penulis asli tampak sangat meyakinkan bagi pengamat netral, jadi saya heran mengapa itu tidak ditanggapi secara langsung
    • Saya ingin tahu bagaimana diverifikasi bahwa semua karya pemenang benar-benar ditinjau oleh juri manusia
      Hasilnya terlihat berbeda dari penjelasan itu

  • Ini pelajaran meta yang bagus untuk dipetik Kaggle
    AI sangat kuat dalam optimasi mendaki bukit menuju metrik objektif, tetapi hasilnya buruk jika orang dengan malas mengandalkan LLM sebagai juri

    • Solusi pemenang Kaggle jarang menjadi solusi rekayasa yang benar-benar bisa dijalankan tim secara berkelanjutan
      Memaksimalkan performa model terhadap target objektif hanyalah sebagian kecil dari keseluruhan masalah

  • Jika melihat berbagai pembahasan yang muncul di sana-sini, pertanyaan “kalau begitu siapa yang seharusnya menang sebagai gantinya?” memang masuk akal
    Semua kiriman mungkin mirip-mirip, atau kiriman lain bisa saja lebih buruk, jadi kita perlu tahu peringkat kedua dan kiriman unggulan agar ketika penipuan atau kelalaian tugas terbukti, penghargaan bisa dicabut dan diberikan kepada peserta lain
    Ada juga kemungkinan bahwa kesalahan dan klaim berlebihan itu bukan hasil generasi AI, melainkan kesalahan manusia, sehingga tingkat kecamannya bisa lebih rendah

    • Otak satu manusia tidak punya energi untuk mencermati seluruh sampah AI yang membanjir, dan ini bukan pekerjaan yang bisa ditanggung makhluk fana
      Bahkan dalam riset yang menyatakan “para ahli lebih menyukai jawaban LLM”, bila hanya melihat beberapa, jawaban manusia tampak lebih baik, tetapi bila harus meninjau 50 jawaban, besar kemungkinan penilaian dilakukan berdasarkan kalimat yang lancar atau banyaknya fakta dangkal alih-alih pembacaan kritis
      Di sini juga tampaknya para juri memberi nilai tanpa benar-benar membaca makalah arXiv 20 halaman itu, jadi meski secara profesional mereka bisa dimintai pertanggungjawaban, secara emosional rasanya tetap patut dikasihani
    • Jika penjelasannya akurat dan semua kiriman berada di tingkat seperti ini, maka tak seorang pun seharusnya menang
      Semuanya semestinya didiskualifikasi, dan para penyelenggara seharusnya lama-lama bercermin sambil mengevaluasi diri

  • Sangat disayangkan bahwa ruang seperti arXiv dan Kaggle, yang dulu pernah serius, dipakai sebagai sarana promosi diri
    Keinginan untuk bekerja di lab AI memang bisa dipahami, tetapi membanjiri ruang publik dengan hasil generasi murahan justru merusak tujuan asli ruang tersebut

    • Menggunakan arXiv untuk promosi diri dan menjadikan Kaggle sebagai batu loncatan masuk industri sudah ada sejak dulu, bukan fenomena yang baru muncul belakangan

  • Reaksi seperti “karya pemenang jelas punya nilai dan butuh banyak usaha, jadi abaikan saja beberapa kontradiksi atau kesalahan dan terima hasilnya” terasa mengherankan sekaligus sangat membekas
    Pada akhirnya, itu sama saja dengan mengatakan bahwa hasil murahan yang dibuat lewat halusinasi pun tetap bernilai, jadi kemenangannya harus diakui apa adanya

    • Selama kira-kira 100 tahun terakhir, fiksi ilmiah telah menggambarkan AI sebagai kecerdasan tingkat tinggi yang kabur tetapi universal, hanya berbasis “logika”, tanpa cacat manusia seperti kesombongan, kebencian, kecemburuan, atau hasrat
      Kini sudah jelas bahwa itu adalah asumsi tanpa dasar, tetapi miliaran orang telanjur dibiasakan untuk sama sekali tidak meragukan mesin
    • Tuntutan manusia yang absurd dan tidak sesuai kenyataan saja sudah cukup membuat para insinyur kelelahan
      Ketika hasil generasi murahan yang terang-terangan buruk dinilai oleh hasil murahan lain yang sama buruknya, lalu para pengkritiknya diperlakukan seolah orang yang tidak bisa menerima kekalahan, percakapan yang rasional pun menjadi mustahil
      Peserta sudah meluangkan banyak waktu dengan itikad baik untuk menjelaskan secara jelas dan mempertimbangkan kemungkinan ada hal yang ia lewatkan, tetapi bila orang yang menebar sampah statistik tanpa berpikir terus-menerus diberi ganjaran oleh penilai yang tak mampu membedakannya, orang akan cepat lelah lalu pergi
      Sikap seperti ini makin sering muncul di tempat kerja, dokumen perusahaan, hubungan sosial, dan media sosial, dan saya ingin melakukan kegiatan bersama orang-orang yang benar-benar berpikir, melatih mental, dan melakukan hal-hal yang membantu kehidupan
      Saya tidak akan menghabiskan waktu dan perhatian pada komunitas yang menoleransi hasil generasi murahan, dan jika orang tidak berkomunikasi dengan itikad baik, tidak ada alasan untuk menunjukkan toleransi
      Untuk Kaggle, kontributor open source, dan pembuat konten, saya hanya memberi ruang untuk satu pelanggaran yang merusak kepercayaan; untuk bawahan saya secara etis akan memberi beberapa kesempatan sambil terlebih dahulu memikul tanggung jawab manajerial; dan untuk kepemimpinan tingkat atas, saya hanya akan memberi satu kesempatan
      Kepercayaan itu berharga, jadi kita harus saling meminta pertanggungjawaban, dan bila dalam prosesnya hubungan terputus, itu pun harus diterima
    • Saya tidak tahan dengan sikap “asal memberi nilai, itu sudah cukup”
      Kita harus menghindari menjadi orang bodoh yang berguna bagi segelintir perusahaan kesayangan investor yang secara terbuka menyatakan ingin memonopoli pasar dan menghapus bisnis serta pekerjaan semua orang