Pernyataan Mengagumkan dari A16Z

• Dalam daftar buku rekomendasi yang dipublikasikan A16Z, pada deskripsi beberapa karya ditemukan ungkapan yang tidak sesuai fakta bahwa “sebagian besar buku berhenti di tengah kalimat”
• Neal Stephenson menegaskan dengan jelas bahwa meski novelnya bisa memicu perdebatan, tidak ada karya yang berakhir di tengah kalimat
• Ia menilai kesalahan ini kemungkinan besar berasal dari publikasi frasa yang dihasilkan AI tanpa pemeriksaan manusia
• Melalui catatan repositori GitHub, draf yang dihasilkan oleh Cursor IDE dan proses revisi manusia yang ceroboh berikutnya terbukti terjadi
• Kasus ini penting karena menyoroti masalah kepercayaan dan kekurangan verifikasi pada konten yang dihasilkan AI

---

Daftar Buku A16Z dan Pernyataan yang Salah

• Dalam daftar bacaan rekomendasi yang diumumkan A16Z, beberapa karya Neal Stephenson termasuk di dalamnya
  • Di antara deskripsi daftarnya ada kalimat: “sebagian besar buku berhenti di tengah kalimat (berakhir secara harfiah di pertengahan kalimat)”
• Stephenson menegaskan bahwa pernyataan ini tidak benar, dan karena adanya kata “literally” ini dianggapnya bukan sekadar kiasan, melainkan kesalahan yang jelas
• Ia menjelaskan bahwa meski beberapa pembaca mungkin tidak menyukai akhir cerita, 《Snow Crash》, 《The Diamond Age》, dan 《Seveneves》 semua memiliki akhir yang jelas

Sifat dan Masalah Klaim

• Kalimat ini bukan sekadar kritik sastra (opini), melainkan pernyataan faktual yang salah
• Stephenson mengatakan kesalahan ini merusak reputasi penulis dan editor
• Ia mempertanyakan bagaimana klaim semacam ini bisa muncul di situs web A16Z

Hipotesis 1: Kalimat yang Dihasilkan AI

• Ia mengajukan penjelasan paling mungkin bahwa teks yang dibuat AI diterbitkan tanpa penyuntingan manusia
  • Kesalahan ejaan nama dan ciri khas gaya menegaskan kemungkinan ini
• Fenomena ini sudah sering terjadi di banyak bidang, termasuk hukum, akademik, dan media
• Stephenson membandingkan proses ini dengan “Inhuman Centipede”, sambil menyoroti risiko bahwa informasi salah dapat dipelajari ulang oleh LLM generasi berikutnya

Hipotesis 2: Kesalahan Data oleh Manusia

• Kemungkinan kedua yang ia kemukakan adalah kesalahan manusia berdasarkan data yang salah
  • Sub-hipotesis A: Kemungkinan menggunakan bootleg PDF dan mengandalkan versi yang terpotong di tengah
  • Sub-hipotesis B: Kemungkinan terkesan berhenti di tengah kalimat karena masalah kualitas terjemahan

Pelacakan Akar Penyebab

• Saat menyelidiki situs tersebut, Stephenson menemukan petunjuk dari riwayat commit repositori GitHub
  • Pada commit 21 Juli 2023, naskah asli yang dihasilkan Cursor IDE ditemukan
  • Naskah aslinya berisi analogi “segfault”, tetapi kemudian diubah oleh manusia menjadi “berhenti di tengah kalimat” sebagai revisi yang salah
  • Kemudian seseorang lagi menambahkan salah ketik selama proses ringkasan, sehingga kesalahan menjadi sempurna
• Ia menilai ini sebagai hasil gabungan kemalasan penggunaan AI dan kecerobohan manusia

Kepercayaan Internet dan Konten AI

• Stephenson mengatakan pengguna internet masih menunjukkan kepercayaan buta terhadap informasi daring
• Ia menyebut contoh lama di mana fragmen kalimat acak dari novelnya Cryptonomicon disisipkan ke email spam
  • Fragmen-fragmen itu memang terputus di tengah kalimat, dan ia menyebut kemungkinan bahwa LLM dapat mempelajari data semacam itu
• Ia menegaskan bahwa insiden ini menyoroti risiko AI menghasilkan konten tanpa dapat membedakan fakta dan fiksi

Kesimpulan

• Stephenson menyampaikan terima kasih atas rekomendasi A16Z, namun menyoroti kebutuhan akan verifikasi fakta yang jelas terhadap pernyataan yang salah
• Kasus ini dipandang sebagai contoh yang menonjolkan kekurangan verifikasi pada konten AI dan masalah tanggung jawab manusia dalam proses penyuntingan

[GN⁺]

Opini Hacker News

• Riwayat commit-nya terbuka, jadi mudah terlihat bahwa reading list itu pernah disentuh AI
  Lihat tautan commit terkait

  • Versi ini jauh lebih natural. Kalimat yang dibuat Opus tadinya berbunyi, “berakhir tiba-tiba seperti segfault di tengah fungsi favoritmu”, lalu di commit berikutnya diubah menjadi “kebanyakan buku berhenti di tengah kalimat”
    Pesan commit-nya cuma “stephenson”, jadi tidak jelas kenapa diubah
    Tautan commit yang diperbaiki
  • Ada kalimat, “Stephenson bukan sekadar penulis fiksi ilmiah, melainkan orang yang menulis manual operasi masa depan”, dan itu benar-benar terasa seperti gaya tulisan AI yang sangat khas. Untungnya sudah direvisi
  • Di commit ini ada komentar “THIS IS AI GENERATED, NEED TO EDIT”. Artinya, mereka pada dasarnya mengakui bahwa draf awalnya memang ditulis dengan AI
  • Sampai sekarang masih belum terlihat pull request untuk memperbaiki bagian ini

• Pengalamanku dengan LLM tidak sepositif orang lain
  Ambil contoh promosi Gemini dari Google: ia memberi timeline persiapan makan malam Thanksgiving, tapi saat ditanya lebih lanjut malah mengeluarkan tiga versi yang saling bertentangan
  Padahal jawaban sederhana seperti “tutup roti dengan handuk agar tetap hangat” saja sudah cukup, tetapi yang keluar justru jawaban-jawaban ngawur berulang kali
  Pembuatan kode cuma berhasil 1 dari 6 kali, pertanyaan model StackOverflow berhasil 5 dari 6 kali, sementara pertanyaan umum hasilnya naik turun
  Saat gagal, tingkat kegagalannya sangat parah, sampai terasa menakutkan bahwa dunia melaju menuju penggunaan LLM skala besar seperti ini

  • Mengejutkan bahwa saham Google bisa naik dua kali lipat padahal mereka menaruh generator jawaban ngawur seperti ini di depan layanan utama mereka
    Bahkan ketika ditanya “harga saham sehari sebelum peluncuran AI Overview”, jawabannya pun salah
  • Kebanyakan penggemar LLM tampaknya hanya terpukau pada tampilannya, dan tidak benar-benar memeriksa kesalahan isi atau kualitas kode secara detail
  • Aku juga pernah iseng meminta Copilot menulis Makefile untuk AVR-GCC, dan yang keluar adalah monster 2500 baris
    Lebih panjang daripada kodenya sendiri, dan cuma spaghetti tak bermakna yang mengulang deklarasi variabel. Tidak akan kupakai lagi

• Menurutku A16Z tidak layak dianggap serius. Rasanya seperti kelompok penipu belaka

  • Kalau perekrut membanggakan investasi A16Z, aku justru menganggapnya sebagai sinyal negatif
  • Ungkapan “Software is eating the world, AI is eating the VCs” terasa sangat pas
  • Ada juga respons bernada ejekan: “...and a conehead”

• Akan sangat keren kalau mereka memang mengakhiri blog post di tengah kalimat

  • Novel pertama David Foster Wallace, The Broom of the System, berakhir dengan “I am a man of my”
    Karya-karyanya yang lain juga memperlihatkan batin manusia yang kacau, tetapi tanpa akhir atau pelajaran yang jelas
    Bahkan setelah membaca lebih dari 2000 halaman, kesimpulannya tetap “tidak direkomendasikan”
    Untuk Neal Stephenson, rasanya ingin bilang, “terima kasih sudah mengakhirinya dengan kalimat yang lengkap”
  • Aku harus menahan dorongan untuk mengintip ending di tengah jalan
    Buku-bukunya selalu terasa berakhir terlalu cepat atau terlalu lambat, jadi meskipun premisnya menarik, aku jadi sulit benar-benar tertarik
  • Ada juga komentar bercanda, “aku juga tidak punya ide orisinal”
  • Ada yang menimpali bahwa “sebenarnya buku itu memang berakhir di tengah”
  • Ada juga reaksi tertawa seperti, “aku juga berharap begitu, sayang sekali”

• Ini mengingatkanku pada autobiografi Werner Herzog
  Di kata pengantar, ia mengatakan bahwa hidupnya bisa saja terputus oleh peluru penembak jitu, dan memperingatkan bahwa ia akan memakai itu sebagai perangkat untuk mengakhiri buku secara mendadak
  Dan memang benar-benar diakhiri seperti itu, tetapi tepat setelahnya ia menambahkan, “inilah akhir yang tadi sudah kuperingatkan”, sebuah pembalikan ala Herzog yang sangat khas

• Ketika perusahaan besar menerbitkan reading list akhir tahun, itu adalah pesan PR bahwa “kami ini manusia yang punya emosi dan selera”
  Tetapi kasus ini menunjukkan bahwa itu cuma pementasan untuk promosi belaka

• Saat melihat kalimat penutup “makna hidup adalah integer”, aku langsung merasa bahwa ini jelas kalimat yang ditulis AI

• Seluruh daftar itu penuh dengan intonasi khas LLM
  Mengingat sumbernya, itu juga tidak mengejutkan. Sebenarnya hipotesis pertama (bahwa itu ditulis LLM) seharusnya sudah cukup sejak awal

  • Mereka mengklaim sudah “membaca semua buku itu”, tetapi kalau benar-benar menyukainya, mestinya mereka bisa menulis setidaknya beberapa kalimat sendiri, bukan?

• Ada sindiran yang menggambarkan Stephenson sebagai penulis Dadais yang “mengakhiri sesuatu di tengah kalimat”

  • Lalu disusul kutipan parodi diri semacam, “100 tahun lagi orang akan mengingatku sebagai penulis seperti itu”

• Hipotesis lain: mungkin ini cuma kesalahan ingatan
  Mungkin seseorang membaca buku Stephenson sejak lama, mengingat ending-nya hambar, lalu mencampuradukkannya dengan buku lain yang “berakhir di tengah kalimat”

  • Kalau ini ulasan resmi perusahaan, rasanya mereka setidaknya akan membuka bukunya lagi dan membaca beberapa halaman
  • Secara pribadi, menurutku hipotesis A (ditulis AI) jauh lebih meyakinkan
  • Atau mungkin ini pemasaran murah: menyelipkan buku promosi perusahaan mereka sendiri ke dalam daftar Top 50 yang dibuat AI
  • Ada juga hipotesis D-for-Delany: manusia yang salah mengira Stephenson menulis Dhalgren. Ia mengutip kalimat yang berakhir dengan “I have come to” saat mengatakan itu