Kiriman yang dibuat LLM harus dilarang

• Ada banyak diskusi tentang bagaimana menangani tulisan yang dibuat LLM saat diunggah ke situs, tetapi tampaknya belum ada kebijakan yang jelas yang menetapkan apakah itu diperbolehkan
• Ada pandangan bahwa pengguna yang secara rutin memposting tulisan buatan LLM harus diblokir dari situs
• Muncul usulan untuk menampilkan pemberitahuan di halaman pengiriman: “Tulisan yang dibuat LLM tidak diperbolehkan di sini”
• Kebijakan dan pemberitahuan yang jelas dapat mengurangi perdebatan soal apakah tulisan buatan LLM harus ditandai atau ditanggapi lewat komentar
• Intinya adalah menetapkan standar yang eksplisit bahwa kiriman yang dibuat LLM tidak diizinkan agar respons komunitas menjadi lebih sederhana

[GN⁺]

Pendapat Lobste.rs

• Sesekali ada tulisan berkualitas rendah yang lolos pun rasanya tidak masalah. Jika konten buatan LLM dilarang secara eksplisit, idealnya tanpa pasal pengecualian yang memicu pertengkaran di komentar, itu akan mengurangi sampah di halaman depan dan memberi dasar yang jelas untuk memblokir pelanggar berulang

• Secara umum setuju. Kalau bahkan tidak mau repot menulisnya sendiri, saya juga tidak ingin repot membacanya
  Hanya saja saya tidak tahu cara mengidentifikasi kalimat buatan LLM dengan sempurna, dan saya tidak suka jika orang atau sumber diblokir hanya karena ada kemungkinan kirimannya dibuat secara generatif. Saya sendiri pernah dicurigai memakai LLM hanya karena kadang menggunakan em dash, padahal itu sudah jadi gaya saya selama lebih dari 25 tahun

  • False positive sesekali rasanya bukan masalah besar selama bukan kebijakan tanpa toleransi. Teks aslinya saya pahami sebagai maksud untuk memberi moderator keleluasaan, dan memblokir berdasarkan pola berulang dalam mengirim tulisan berkualitas rendah
    Tidak boleh sampai kita gagal membuat kebijakan hanya karena deteksi tulisan berkualitas rendah tidak sempurna. Kesalahan sesekali pasti ada, tetapi sampah buatan LLM yang membanjiri web dan menyingkirkan tulisan manusia tetap harus dilawan

• Setuju
  Biasanya cukup jelas apakah ini tulisan buatan LLM, dan saya juga pernah melihat kasus ketika penulis tidak mengatakannya di tulisan itu sendiri, tetapi mencantumkan penggunaan LLM di bagian lain situsnya. Itu membuat penilaian jadi lebih mudah
  Intuisi komunitas untuk mendeteksi tulisan berkualitas rendah juga tampaknya cukup akurat. Saya tidak ingat ada kasus ketika sebenarnya bukan, tetapi penulis digiring dalam utas komentar besar seolah memakai LLM. Kalau memang tidak ada yang bisa membedakannya, ya berarti memang tidak bisa dibedakan
  Untuk kasus yang benar-benar ambigu, tidak masalah berasumsi dengan itikad baik. Yang menimbulkan masalah biasanya tulisan yang terlalu jelas terlihat, bukan situasi di mana seseorang mencoba menyelundupkan sebanyak mungkin tulisan LLM ke lobsters tanpa ketahuan siapa pun

• Saya benar-benar membenci artikel buatan LLM dan berharap itu hilang. Kasus ekstrem seperti ini jelas, kemungkinan besar mudah dikenali, dan saya rasa sangat sedikit orang yang akan keberatan jika dihapus
  Tetapi bagaimana kalau seseorang mengirim perangkat lunak yang sebagian commit-nya menerima hasil buatan LLM? Atau bagaimana kalau semuanya dibuat dengan LLM tetapi prosesnya didokumentasikan dalam tulisan analitis? Saya sengaja bermain sebagai pengacara setan dengan contoh-contoh ini, tetapi jelas ada spektrum soal apa yang dianggap boleh di lobsters
  Melarang semua konten yang tersentuh LLM sedikit pun rasanya sulit diterima. Jawaban yang paling luas diterima kemungkinan adalah flag tanpa penalti karma. Semacam sinyal untuk pembaca berikutnya: “menurut saya ini hasil generatif, jadi waspadai.” Saat ini utas komentar besar pada praktiknya sudah menjalankan fungsi itu, dan itu bisa mengurangi pertengkaran sambil tetap memberi sinyal soal visibilitas konten

  • Skenario lain yang diajukan itu adalah kategori yang berbeda, dan pembedanya juga cukup jelas. Kalau ingin memperlakukannya berbeda dari sekarang, tinggal buka utas baru

• Terdengar masuk akal. Kalau seseorang tidak mau meluangkan waktu untuk merapikan pikirannya sendiri, kenapa saya harus meluangkan waktu untuk membacanya
  Memakai chatbot sebagai rubber duck untuk merapikan argumen atau memeriksa tata bahasa rasanya tidak masalah. Saya juga tidak merasa perlu deteksi khusus; ekspektasi dari anggota komunitas dan penghapusan untuk kasus-kasus yang jelas sudah cukup

• Sangat mudah langsung berteriak “tulisan LLM berkualitas rendah!” pada tulisan yang tidak kita sukai. Lalu apa jadinya. Saya ingin melihat tulisan yang relevan dengan topik, baik yang saya setujui maupun yang tidak, dan itu sehat
  Saya tidak yakin bagaimana persisnya menilai tulisan sebagai “berkualitas rendah”. Ada contoh yang jelas, tetapi ada juga yang ambigu. Bisa saja tulisan yang sah terlihat lemah hanya karena penulisnya kebetulan memakai gaya tertentu yang sering ditiru LLM
  Dalam kiriman “authored by”, melihat kecerobohan umum dari pengirim mungkin adil. Jika seseorang terus-menerus mengirim tulisan yang jelas berkualitas rendah, tandai saja dia sebagai ceroboh, lalu moderator menghubungi dengan pesan “berhenti”, dan jika tetap tidak berhenti baru diblokir
  Saya tidak tahu apakah “tulisan ceroboh” yang dikirim lewat orang lain juga harus dihitung sama. Untuk orang yang terus mengirim tulisan yang tampak berkualitas rendah, mungkin kemampuan posting-nya bisa didinginkan sementara alih-alih langsung diblokir. Tetapi sistem di mana semua pengirim bisa diblokir jika tidak mampu membela sumber tulisannya tampaknya tidak akan menyenangkan

  • Tidak semua aturan adalah slippery slope. Nyatanya memang ada tulisan LLM berkualitas rendah yang jelas, dan itu saja sudah cukup untuk menjadi sasaran moderasi
    Anda tampaknya meremehkan betapa antisosialnya menulis tulisan LLM berkualitas rendah. Bahkan sekarang pun contoh-contoh yang jelas seperti itu bisa bertahan berhari-hari di halaman depan karena diposting oleh orang-orang yang sedang ikut tren AI
  • Lawan api dengan api saja, pakai detektor tulisan LLM berkualitas rendah

• Bacaan terkait: https://lobste.rs/s/wee21u/this_is_written_by_llm_comments_should_be
  Contoh:
  https://lobste.rs/s/ojvhq9/coding_is_thinking_why_i_still_write_code
  https://lobste.rs/s/eaxtmb/claude_for_legal_suite_plugins_for_legal
  https://lobste.rs/s/fvqkke/new_claude_code_programmatic_usage
  Saya setuju bahwa teks buatan LLM harus bisa difilter atau diberi flag
  Masalahnya, jika itu tulisan buatan LLM tetapi sebenarnya masih sesuai topik, melabelinya sebagai “di luar topik” bisa jadi penggunaan yang kontradiktif. Opsi flag baru juga pernah dibahas sebelumnya. Contoh: https://lobste.rs/s/po97lh/new_tag_suggestion_genai_assisted
  Saya masih merasa opsi flag baru lebih baik daripada menyalahgunakan flag “di luar topik”, seperti yang dibahas di https://lobste.rs/s/rkjpob/proposal_add_ai_generated_as_flag_reason

  • Masukannya saya terima. Pilihan kata saya buruk. Itu memang harus dilarang
    Bisa difilter atau diberi flag tampaknya tidak terlalu penting. Pengguna yang mengunggah itu harus disingkirkan dari situs. Flag atau tag itu sia-sia kalau tidak berujung pada tindakan nyata

• Mungkin saya hanya memilih contoh yang tidak bernilai, tetapi teks buatan LLM pada https://lobste.rs/s/hfnps5/osmand_s_faster_offline_navigation walaupun kualitasnya secara umum sampah, tetap memuat isi unik yang relevan dengan topik

  • Bukan. Maksud saya adalah, sejauh mungkin saya tidak ingin teks buatan LLM dalam bentuk apa pun diunggah. Lihat saja orang-orang yang memberi suara spam. Kalau saya melihatnya, saya juga akan jadi salah satunya

• Sekarang semua bentuk dash jadi ilegal

  • Saya tidak tahu kenapa orang menganggap em dash sebagai bukti yang menentukan. Misalnya, output HTML dari Pandoc menghasilkan em dash dari Markdown --

• Kekhawatirannya: tidak mudah mengetahui dengan akurasi sempurna apakah suatu teks dibuat oleh LLM. Namun dalam kebanyakan kasus itu jelas
  Kadang ada tulisan yang “penting” atau “layak diperhatikan” yang mungkin dibuat oleh LLM, misalnya laporan CopyFail
  Usulan: konten buatan LLM sebaiknya dilarang, kecuali untuk situasi luar biasa seperti kerentanan keamanan berdampak besar. Saat menilai apakah teks dibuat oleh LLM, pendekatannya harus konservatif sehingga kasus batas diberi manfaat keraguan. “Situasi luar biasa” bisa diserahkan pada diskresi moderator, atau daftarnya bisa ditetapkan dan terus disempurnakan seiring kebijakan berkembang