Berbagai Bau Khas LLM

 (shvbsle.in)
1 poin oleh GN⁺ 2 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Penulisan dengan bantuan LLM pada awalnya memperbaiki kosakata dan struktur kalimat sehingga tidak terasa seperti tulisan AI berkualitas rendah, tetapi beberapa bulan kemudian jejak yang sama mulai berulang di seluruh internet
  • Dalam penulisan, kalimat penutup yang kuat dan rangkaian kalimat pendek sering muncul, dan pernyataan padat seperti “Symmetry becomes a trap.” tampak sebagai pola yang berulang
  • Struktur “X is the Y of Z” dan ungkapan kontras yang mirip dengan “bukan sekadar X melainkan Y” juga disebut sebagai bau kalimat yang dapat dikenali dari tulisan buatan LLM
  • Pada situs web yang dibuat AI, font JetBrains Mono, susunan step, bullet point yang serupa, serta titik berkedip pada tombol·kartu·badge tertentu muncul sebagai elemen yang berulang
  • Intinya bukan menentang penggunaan LLM/AI itu sendiri dalam proses kreatif, melainkan mengamati pola-pola yang berulang kali terdeteksi dalam penulisan dan situs web

Bau yang Berulang Terlihat dalam Penggunaan LLM

  • Saat menggunakan LLM untuk merapikan tulisan blog matematika pada akhir tahun lalu, kosakata dan struktur kalimat membaik sehingga tidak terasa seperti tulisan buruk yang dibuat AI
  • Sekitar 3 bulan kemudian, struktur kalimat yang sama mulai terlihat berulang di seluruh internet, dan terasa sebagai jejak yang bisa dikenali dalam berbagai pekerjaan berbantuan AI
  • Contoh-contoh di HN Thread menunjukkan “bau AI” yang berulang dalam dua ranah: penulisan dan situs web

Pola Berulang yang Terlihat dalam Penulisan dan Situs Web

  • Penulisan LLM

    • Kalimat penutup yang kuat muncul terlalu sering
      • “Humans trust symmetry because it feels like intelligence made visible.”
      • “The Tiger fit the story. Jin-yong fit the physics.”
      • “Symmetry becomes a trap.”
    • Rangkaian kalimat pendek digunakan berulang kali
      • “Yet the tilt is not an accident. It is the shape of the optimum.”
      • “Then AlphaEvolve arrived. It had no preference for symmetry. No aesthetic prior. No instinct to preserve harmony.”
      • “These examples are not decorative. They form a distributed argument.”
    • Struktur kalimat berbentuk “X is the Y of Z” sering terlihat
      • “Cringe is the visible signature of moving along a gradient you chose.”
    • Ungkapan kontras yang mirip dengan “bukan sekadar X melainkan Y” juga berulang
      • “solutions that do not merely satisfy the constraint but satisfy the aesthetic instincts”

  • Situs Web Buatan AI

    • Font JetBrains Mono berulang kali terlihat
    • Susunan “step” dengan font yang sama dan bullet point serupa muncul di berbagai halaman web
    • Tombol dengan bentuk tertentu, kartu, dan titik berkedip di dalam badge juga tampak sebagai elemen berulang pada situs web buatan AI

  • Hal yang Perlu Diperhatikan

    • Ini bukan penolakan terhadap penggunaan LLM/AI itu sendiri dalam karya kreatif, melainkan lebih merupakan kumpulan pengamatan atas pola yang berulang kali terdeteksi

Bacaan terkait

1 komentar

 
GN⁺ 2 jam lalu
Opini Hacker News

  • LLM cenderung terlihat sangat bagus terutama saat mengerjakan hal-hal yang saya sendiri tidak bisa lakukan. Jika Anda merasa output LLM jauh lebih baik daripada hasil Anda sendiri di bidang tertentu, besar kemungkinan Anda tidak punya kapasitas yang cukup untuk menilai kualitasnya dengan benar

    • Ini juga sangat berlaku untuk coding, dan sampai taraf tertentu menjelaskan kenapa penilaian di HN soal kualitas kode buatan LLM bisa sangat terbelah
      Satu kubu bilang, “AI membuat kode yang sama sekali tidak mungkin saya tulis sendiri, menyelesaikan pekerjaan berhari-hari dalam sekali jalan, dan meningkatkan produktivitas saya 10x,” sementara kubu lain bilang, “AI terus membuat kode buruk, perlu dikerjakan ulang, bikin kesalahan jadi harus diawasi, dan pada akhirnya malah membuang waktu.” Jika output dari produk yang sama bisa terlihat sedemikian berbeda, ada kabar yang agak buruk untuk kubu pertama
    • Saya lumayan mencari nafkah dari menulis, dan prosa Claude benar-benar sangat buruk sampai terasa memuakkan
      Sebaliknya, saya hampir tidak pernah menulis kode dan cuma sekali pernah melakukannya sebagai pekerjaan, jadi ketika Claude memuntahkan kode dalam hitungan detik, saya merasa seperti manusia super yang sebentar lagi jadi miliarder. Lalu saya ingat bahwa Claude bahkan tidak bisa menulis teks yang enak dibaca, dan bahwa saya bisa menulis tapi tidak bisa ngoding, jadi saya hapus kodenya lalu kembali ke pekerjaan yang lebih menghasilkan uang
    • Saya setuju soal kemungkinan itu, tetapi frontier model saat ini juga tidak sepenuhnya tidak berguna bahkan untuk tulisan di bidang yang cukup saya kuasai
      Setahun lalu saya rasa saya tidak akan mengatakan ini. Model-model ini tetap harus diawasi ketat karena bisa mengeluarkan omong kosong yang tampak meyakinkan dengan cara yang sulit dikenali bahkan oleh ahli, tetapi dadu di dalamnya makin condong ke arah yang benar dan berguna ketimbang ke arah yang salah atau tidak berguna
    • Sejujurnya saya sulit memahami bagaimana orang bisa menganggap tulisan LLM layak dibaca, walau sedikit. Kalau begitu yang Anda rasakan, Anda perlu lebih banyak membaca buku
      Satu buku sebulan bukan target yang tinggi. Tidak perlu sampai Melville, Hemingway, Chaucer, atau Shakespeare; cukup ambil NYT bestseller mana pun dan hasilnya akan jauh lebih baik daripada tulisan apa pun yang bisa dihasilkan LLM
    • Saya tidak setuju bahwa LLM terlihat bagus pada hal-hal yang saya sendiri tidak bisa lakukan. LLM justru pandai membuat orang percaya bahwa tulisan yang baik hanya punya satu bentuk
      LLM menyukai gaya yang sudah terkodifikasi seperti “buku teks/manual teknis”, mungkin karena itu membuatnya lebih berguna bagi manusia. Tetapi tulisan manusia bukan cuma soal membuat kalimat yang paling elegan, dan kadang tulisan yang hebat bisa berupa meme gambar anjing seperti ini: https://knowyourmeme.com/photos/2160304-the-winner-of-this-c...

  • Ungkapan seperti “honest caveat:”, “genuine caveat:”, “honest answer:”, “The thing to internalize:”, dan “The smoking gun:” terasa sangat berbau LLM
    Terutama kalimat yang dimulai dengan “The ___:”, lalu penggunaan “load bearing” di luar pembahasan arsitektur, “blast radius” di luar ledakan sungguhan, “smoke test” saat yang lebih tepat adalah “sanity check”, struktur daftar tiga poin di mana poin ketiga cuma gabungan dua poin sebelumnya, menyebut sesuatu sebagai “shape” secara metaforis, unggahan sosial yang diakhiri dengan “Curious if anyone…”, dan penggunaan “Oh. Oh.” dalam anekdot dengan Oh kedua dibuat miring juga sering terlihat
    Sebagiannya memang istilah yang benar-benar dipakai para developer, tetapi frekuensi penggunaan nyatanya tetap patut dipertanyakan, dan jejak seperti ini masih tampak pada prosa model-model terbaru

    • Idiom LLM seperti ini dikonsumsi setiap hari, jadi rasanya tak terelakkan bahwa ini akan masuk ke bahasa sehari-hari generasi berikutnya, bahkan generasi sekarang juga. Sepertinya akan sulit ditahan
    • Kalau yang dimaksud adalah “load bearing” dan “blast radius”, saya sangat sering melihatnya dalam diskusi online bahkan sebelum era LLM, dan saya sendiri juga sering memakainya
      Khususnya load bearing, itu dulu cukup merupakan ungkapan biasa dalam percakapan sehari-hari di ranah operasional. Tapi “smoke test” memang belum pernah saya lihat dipakai dalam kehidupan nyata
    • Saya menyuruh GPT menyelidiki ungkapan ala Claude 4.7: https://chatgpt.com/share/6a18e3b4-1308-832a-9263-bed823de3f...
      Pola yang dirangkum Wikipedia juga terdokumentasi dengan baik: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
    • Yang paling lucu dari yang rutin muncul menurut saya adalah belt-and-suspenders/belt-and-braces, karena saya belum pernah sekali pun melihat manusia sungguhan memakai ungkapan itu. Sangat mengganggu sampai saya harus menyuruh AI berhenti memakainya
    • Yang paling menjengkelkan buat saya secara pribadi adalah “escape hatch”
      Semua hal jadi disebut escape hatch. try/catch itu escape hatch, flag CLI juga escape hatch. Tidak masuk akal, dan akhirnya masuk ke file Markdown “kata dan frasa terlarang” saya

  • Keseragaman dalam tulisan LLM itu buruk. Menggunakan LLM untuk membantu menulis itu bagus, tetapi sebaiknya kata-kata yang dihasilkan LLM tidak masuk ke tulisan akhir, bahkan setelah hanya sedikit penyesuaian kosakata
    Akan lebih baik jika LLM diminta mengkritik struktur dan alur, serta menemukan kata yang terlalu sering diulang, bentuk pasif, dan pilihan kalimat topik yang bodoh. Hal-hal seperti ini memperbaiki tulisan secara objektif tanpa merusak gaya
    Sebaliknya, keseragaman LLM dalam desain web itu bagus. Kebanyakan situs tidak perlu berusaha menjadi aneh. Desain yang baik untuk situs praktis adalah keterbacaan, dan LLM lebih baik dalam hal itu daripada rata-rata developer. Tidak masalah terus memakai tata letak tombol yang sama dan sistem ukuran huruf yang sama. Jika menurut saya hasilnya terlihat bagus, kemungkinan besar itu lebih baik daripada kalau saya mengerjakannya sendiri, dan kalau sendirian kemungkinan hasilnya justru lebih buruk

    • Hal yang membuat saya tidak suka dari desain web LLM adalah ia menambahkan terlalu banyak elemen tak berguna di mana-mana
      GPT-5.x sangat parah soal ini. Misalnya saat membuat dashboard, ia menaruh begitu banyak angka dan potongan teks di berbagai tempat, padahal kebanyakan hanya mengulang hal yang sama dua kali. Tentu ini tampaknya bukan masalah mendasar pada struktur itu sendiri, jadi besar kemungkinan akan segera dibenahi, dan kalau semua copy sudah disiapkan lebih dulu sebelum membuat situs, hasilnya bisa bagus
    • Saya sedang memakai Claude untuk membuat situs pribadi baru, dan menyenangkan karena ketika saya bilang, “Saya ingin menu yang enak dilihat dengan tautan ke halaman lain,” ia bisa mengeluarkan sesuatu yang cukup layak
      Untuk menulis, memakai LLM terasa sangat aneh. Mungkin ada pengecualian untuk hal seperti mengisi formulir bodoh. Saya pernah melihat rekan kerja memakai LLM untuk dokumen teknis, dan hampir selalu hasilnya omong kosong di ambang batas yang hanya punya estetika seolah-olah benar. Jika LLM banyak dipakai dalam penulisan kreatif, rasanya tujuan itu sendiri jadi hilang
    • Entah itu LLM atau SaaS startup solo, sulit mengatakan bahwa keseragaman dalam desain web itu bagus
    • Saya memakai LLM sebagai mesin pencari analogi sekaligus kamus tingkat lanjut. Semua kata tetap saya tulis sendiri, tetapi saya memakainya untuk memperbaiki bahasa Inggris saya dan mendapatkan ungkapan yang belum saya kuasai
      Saya belum pernah memakainya untuk meninjau tulisan saya sendiri, jadi penasaran apakah memang sebagus itu
    • Sangat setuju. Saya baru-baru ini menulis pidato, dan saya bahkan tidak bisa membayangkan seberapa klise hasilnya kalau saya mengambil kalimat LLM lalu mengakuinya sebagai milik saya
      Kalau membayangkan seseorang menulis sesuatu yang penting untuk, atau tentang, orang yang mereka cintai sambil menyisipkan frasa manis sampah yang disarankan di tengah-tengahnya, saya jadi malu untuk mereka. Itu omong kosong total, dan sinyal besar bahwa mereka bahkan tidak cukup peduli untuk menghadirkan kata-kata mereka sendiri kepada audiens

  • Kontras negatif juga tidak boleh dilewatkan
    Ini adalah struktur retoris yang menyangkal gagasan tertentu di bagian awal kalimat, lalu menegaskan alternatifnya di bagian akhir. Biasanya muncul dalam rumus seperti “bukan X melainkan Y” atau “bukan sekadar X, melainkan Y”
    Ada materi bagus di Wikipedia tentang pola umum tulisan LLM: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing

    • Sebagai orang yang tulisannya sering salah dideteksi sebagai AI, saya berterima kasih atas disclaimer di awal dokumen itu
      Saya terutama suka sudut pandang bahwa pola-pola ini sendiri bukan masalah. Tidak cukup hanya memperbaiki polanya; masalahnya adalah pola seperti ini sering menandakan konten yang ditulis asal-asalan atau ceroboh
    • Isinya ada di artikel utama
    • Kira-kira berapa lama sampai LLM dilatih untuk menghindari pola-pola di halaman wiki itu

  • Struktur seperti “No ___, no ____. Just _____” atau penggunaan kata “honest” saat menjelaskan suatu pendekatan juga cukup kentara

    • “honest”, “straight”, “genuine”, “actual”, “real” semuanya terasa seperti kata-kata yang menimpa argumen yang lemah
      Sudah separah itu sampai saya berpikir menambahkan hook agar sub-agent menyisipkan pengecekan fakta semacam “apa ini benar-benar pasti?”. Dikotomi palsu “bukan X melainkan Y” juga dipakai dengan cara serupa. Misalnya orang yang mengaku sovereign citizen bilang, “ini bukan mengemudi, ini bepergian dengan mobil”
    • Saya menganggap pola itu sebagai jab, jab, thrust. Kalau mau, bisa juga disebut “tap tap whack”
      Ini juga muncul dalam bentuk positif. Misalnya, “Smooth. Effortless. A perfect fit for your needs.” Terus muncul seolah-olah poinnya harus dipukul masuk dalam tulisan yang informal atau persuasif
      Agak disayangkan orang-orang terus membicarakan ciri-ciri ini secara terbuka. Tadinya enak karena bisa dipakai untuk membedakan dengan cukup akurat, tapi mungkin memang tidak mungkin bertahan selamanya
    • Itu adalah klise pemasaran yang sudah membosankan jauh sebelum LLM muncul, dan tampaknya model hanya memungutnya dari data latih
    • Jangan lupakan juga “the uncomfortable truth”

  • Yang menarik, saya tidak merasa gaya bahasa LLM membaik banyak belakangan ini
    Beberapa waktu lalu ia sudah mencapai tingkat yang “lumayan”, tetapi model-model terbaru belum membawa peningkatan sampai titik lebih disukai daripada penulis manusia profesional. Saya penasaran apakah di tengah pengejaran superintelligence, bidang-bidang lain juga akan berakhir seperti ini

  • Sekarang, dalam kebanyakan tulisan seperti posting blog dan pesan Slack, saya justru ingin melihat tulisan mentah yang lebih manusiawi, meskipun ada sedikit salah eja atau kesalahan tata bahasa
    LLM sangat hebat untuk menghasilkan ide, menulis kode, dan mungkin memoles tulisan, tetapi tolong jangan biarkan ia menulis seluruh teks sebagai pengganti Anda. Untuk jenis tulisan seperti itu, saya ingin mendengar apa yang Anda katakan, bukan AI

    • Saya mengatakannya begini: jika Anda bahkan tidak mau repot menulisnya sendiri, tidak ada alasan bagi siapa pun untuk mau membacanya

  • Jika Anda bisa memakai Claude di kantor dan tidak masalah menunjukkan email Anda, cobalah bilang, “Bacalah semua email yang saya kirim dan buat skill untuk menyusun draf email dengan suara saya”
    Bahkan jika skill itu tidak benar-benar dipakai, membaca file skill yang dihasilkan tetap menarik. Rasanya aneh seperti bertanya kepada Claude, “Siapa saya?”
    Saya belum mencobanya dengan pesan Slack, dan membacanya terasa agak menakutkan. Meski begitu, konsep yang sama seharusnya berlaku
    Ada beberapa orang di kantor yang aktif memakai Claude untuk menulis pesan Slack, dan itu mudah sekali ketahuan karena sampai suatu hari mereka nyaris menulis bahasa Inggris yang sulit dipahami di banyak pesan, lalu keesokan harinya mendadak mengirim satu pesan dengan prosa yang sempurna dan konsisten

  • Lucu kalau scroll feed LinkedIn belakangan ini
    Favorit saya hari ini adalah, “Pajak bukan masalahnya. Mindset-lah masalahnya.”

    • Kool-Aid ala LinkedIn sudah ada jauh sebelum LLM muncul

  • Setelah melihat pembahasan soal font “JetBrains Mono”, saya kira kritik soal penyalahgunaan Inter pasti akan muncul. Meski begitu, JetBrains Mono tetap font yang keren

    • Saya khawatir ini akan mengarah ke pola seperti jebakan yang sering membuat partai politik terperosok, yaitu menganggap apa pun yang dipikirkan pihak lawan secara definisi itu buruk
      Kalau JetBrains Mono cocok untuk pekerjaan yang dikerjakan, ya pakai saja; tidak perlu menghindarinya hanya karena AI sering memakainya
    • Sedikit menyimpang, tapi kalau namanya JetBrains Mono, apakah itu berarti termasuk kekayaan intelektual JetBrains?
      Saya penasaran apakah secara hukum aman memakainya di sembarang situs web
    • Yang ini agak bikin sedih
    • Karena ini font yang saya pakai setiap hari, melihat daftar itu membuat saya sedikit tersentak. Mungkin saya tidak menyadarinya karena memang sudah memakainya dari awal