1 poin oleh GN⁺ 2024-10-21 | 1 komentar | Bagikan ke WhatsApp
  • Ketika alat pendeteksi AI digunakan untuk menilai tugas, jika tulisan mahasiswa dinilai sebagai hasil buatan AI, hal itu dapat langsung memengaruhi nilai dan penilaian kecurangan akademik
  • Moira Olmsted mengatakan bahwa tugas yang ia kumpulkan dalam kursus online Central Methodist University pada 2023 dinilai berpotensi dibuat oleh AI, sehingga ia menerima nilai 0
  • Profesor tersebut disebut menjadikan hasil alat pendeteksi sebagai dasar, dan menjawab bahwa tulisan Olmsted sebelumnya juga pernah setidaknya sekali ditandai
  • Olmsted saat itu baru memulai program pendidikan guru setelah mengumpulkan biaya untuk program jarak jauh mandiri sambil menjalani pekerjaan penuh waktu dan mengasuh anak
  • Jika sekitar dua pertiga guru secara rutin menggunakan alat pendeteksi konten buatan AI, bahkan tingkat kesalahan yang kecil pun bisa berdampak besar pada banyak mahasiswa

Kasus mahasiswa yang mendapat nilai 0 karena alat pendeteksi AI

  • Moira Olmsted sempat berhenti kuliah pada awal pandemi, membangun keluarga, lalu berusaha kembali ke bangku kuliah
  • Sambil bekerja penuh waktu dan mengasuh anak kecil, ia menabung selama beberapa bulan untuk biaya program belajar mandiri yang memungkinkan pembelajaran jarak jauh
  • Pada 2023, saat hamil anak keduanya tujuh bulan, ia mendaftar di kursus online Central Methodist University dan mulai belajar untuk menjadi guru

Putusan yang muncul setelah pengumpulan tugas

  • Beberapa minggu setelah semester musim gugur dimulai, Olmsted mengumpulkan tugas menulis di kelas wajib
  • Tugas itu adalah satu dari tiga ringkasan bacaan mingguan yang harus dikerjakan
  • Nilai yang kemudian ia terima adalah 0
  • Ketika Olmsted menanyakan hal itu kepada profesornya, profesor tersebut disebut menjawab bahwa alat pendeteksi AI menilai tulisan itu kemungkinan dibuat oleh kecerdasan buatan
  • Profesor itu juga dikatakan menyebut bahwa tulisan Olmsted sebelumnya pernah setidaknya sekali ditandai

Alat pendeteksi yang digunakan luas dan beban kesalahannya

  • Sekitar dua pertiga guru menyatakan bahwa mereka secara rutin menggunakan alat pendeteksi konten buatan AI
  • Semakin besar skala penggunaannya, semakin cepat tingkat kesalahan yang sangat kecil pun dapat terakumulasi
  • Jika hasil pendeteksian berujung pada nilai tugas dan tuduhan kecurangan akademik, putusan yang keliru akan menjadi beban besar bagi mahasiswa

1 komentar

 
GN⁺ 2024-10-21
Komentar Hacker News
  • Saya sudah mengajar matematika di pendidikan tinggi selama 30 tahun dan akan segera pensiun; ada sangat banyak kecurangan pada tugas yang dinilai tetapi tidak diawasi langsung di kelas
    Hal seperti penguncian browser tidak bisa mencegahnya. Satu-satunya solusi adalah mewajibkan ujian tatap muka yang diawasi dan melarang penggunaan teknologi apa pun selama ujian, tetapi kalau begitu tidak akan ada mahasiswa yang mendaftar kelas itu. Satu-satunya yang terpikir adalah Higher Learning Commission mewajibkan ini untuk semua kelas
    Masalah yang lebih besar adalah mahasiswa tidak terbiasa melakukan hal-hal yang diperlukan untuk belajar, melainkan hanya terbiasa melakukan hal-hal yang diperlukan untuk lulus. Hal itu makin lama makin menjadi kecurangan. Bahkan di antara mahasiswa kalkulus ada yang tidak bisa menangani pecahan. Jika kita membuat sistem yang benar-benar mencegah kecurangan, akan terlihat bahwa persentase yang sangat tinggi dari mahasiswa saat ini sebenarnya belum siap menerima pendidikan universitas sungguhan. K-12 juga harus berubah

    • Menurut saya biaya gagal sudah dibuat terlalu tinggi, sementara kecurangan dibuat terlalu mudah
      Dari sudut pandang mahasiswa, yang umumnya dilihat institusi berikutnya adalah IPK, kampus, lalu jurusan, dalam urutan itu. Jika biaya tidak mendapat A adalah tersingkir dari peluang masa depan, mahasiswa akan mengambil kelas yang lebih mudah atau berbuat curang untuk menolak tersingkir
      Saat belajar fisika, saya mengambil kelas-kelas sulit yang memang ingin saya ambil dan tidak berbuat curang, lalu lulus dengan IPK 2,7; pilihan seperti itu punya konsekuensi nyata. Menurut saya solusinya adalah mengurangi ketergantungan pada penilaian yang rentan terhadap kecurangan atau yang di dunia nyata akan dikerjakan dengan komputer
    • Di Jerman, semua ujian seperti ini. PR hanya menjadi syarat kelayakan untuk mengikuti ujian, atau tugas/proyek hanya mendapat sedikit poin bonus, dan nilai ditentukan oleh ujian
      Mata kuliah wajib diperlukan untuk mendapatkan gelar, jadi jika aljabar linear ada dalam kurikulum, “tidak mendaftar” bukan pilihan. Jika gagal 3 kali, Anda dikeluarkan
      Itu karena universitas di Jerman dan sebagian besar Eropa didanai pajak. Di AS, dari sudut pandang universitas, menguntungkan untuk terus mempertahankan mahasiswa yang membayar dengan baik, jadi mereka akan terus berada di jalur yang baru dijelaskan. Ini adalah layanan, struktur pelanggan yang membeli gelar
    • Sepenuhnya benar, dan ini juga tidak terbatas di AS
      Saya pernah mengambil kelas grafika komputer di universitas; berkat soal bonus, secara harfiah semua orang mendapat 100% atau lebih pada set soal, sedangkan median ujian tengah semester di bawah 50%. Dalam sesi persiapan ujian, ketika profesor menerima pertanyaan, saya masih ingat seorang mahasiswa dengan serius meminta “tolong jelaskan lagi seluruh konsep matriks
      Sebagai catatan, itu mata kuliah tingkat 400, dan di salah satu universitas terbaik di Kanada. Itu sudah lebih dari 20 tahun lalu, jadi sekarang entah bagaimana pasti sudah lebih buruk
    • Saya ingat di kelas matematika universitas, profesor menggunakan cara unik untuk menangani kecurangan. Ia mengizinkan buku, catatan, dan “fungsi kalkulator apa pun” dari TI-84
      Logikanya, toh mahasiswa akan mencoba trik seperti itu, jadi izinkan saja dan ubah ujiannya menjadi ujian yang kebal terhadap keunggulan tersebut. Sebelum setiap ujian, ia berkata bahwa alat boleh digunakan, tetapi “tetaplah belajar; buku, catatan, dan kalkulator tidak akan menyelamatkan kalian”
      Dalam jangka panjang, pendidikan tampaknya akan bergerak ke arah mengubah kurikulum agar alat AI tidak memberi keunggulan besar, alih-alih melarang penggunaan alat AI
    • Terbiasa dengan “hal yang diperlukan untuk lulus” juga berlaku pada wawancara kerja
      Dalam rekrutmen software engineer, saya sudah melakukan ratusan wawancara teknis sebagai pewawancara, dan sekarang pun membantu perekrutan perusahaan sebagai pewawancara independen; kecurangannya sangat banyak. Di perusahaan biasa, menurut saya setidaknya 30%, dan di FAANG lebih dari 50% adalah pelaku kecurangan
      Sangat banyak orang membagikan tugas teknis di grup dan forum tertutup, serta menerima bantuan dalam bentuk apa pun selama wawancara. Berulang kali saya melihat soal yang sengaja dibuat rumit diselesaikan dalam beberapa menit dengan cara terbaik
  • Kini, menilai seberapa dalam seorang siswa memahami suatu topik hanya lewat esai tertulis sudah tidak efektif
    AI akan terus ada, dan kita membutuhkan cara baru untuk menilai capaian siswa. Saya ingat pernah diberi tahu di sekolah bahwa kalkulator tidak boleh dipakai saat ujian. Para guru berkata, “kamu tidak bisa percaya bahwa kalkulator akan selalu tersedia saat paling dibutuhkan,” tetapi ironisnya sekarang kita punya “kalkulator” di saku 24 jam sehari
    Kita harus menerima bahwa dunia sudah berubah. Saya hanya berharap masyarakat bisa bersama-sama memutuskan bagaimana merespons perubahan itu, bukan dipaksa terseret olehnya

    • Penilaian lewat esai tertulis bukan hanya sekarang tidak efektif; dulu pun bukan bentuk penilaian yang efektif. Itu adalah cara penghematan biaya yang dipakai karena institusi bahkan tidak bisa membayangkan biaya untuk mengalokasikan 30 menit penilaian tatap muka per siswa untuk tiap mata kuliah
      Ini layak dipikirkan setiap kali melihat pinjaman mahasiswa. Dengan uang sebesar itu pun mereka tidak bisa membeli waktu penilaian individual 30 menit dengan dosen untuk setiap mata kuliah; sebaliknya, mahasiswa disuruh menghabiskan waktu lebih lama untuk tugas menulis, lalu penilaiannya dilemparkan ke asisten dosen bergaji minimum
    • Mengukur pemahaman mendalam hanya dengan esai tertulis sejak dulu tidak efektif, dan AI hanya membuatnya makin tidak efisien
      Contoh utamanya adalah esai masuk perguruan tinggi. Sebagian siswa bisa mendapat pengalaman yang terlihat bagus untuk ditulis di esai berkat orang tua mereka, dan bisa menyewa tutor untuk “membantu” penulisan esai. Misalnya perjalanan edukasi ke Afrika, les dua alat musik, atau coaching golf 1:1
      AI hanya membuat bagian tutor itu lebih mudah diakses dan lebih terjangkau bagi lapisan masyarakat yang lebih luas. Naif jika menganggap sebelum AI tidak ada pasar abu-abu untuk coaching esai, maupun pasar gelap berupa jasa penulisan atas nama orang lain. Dalam banyak kasus, pasar itu masih bekerja lebih baik daripada AI
    • Keputusan bersama masyarakat tentang bagaimana merespons perubahan pada kenyataannya hampir tidak pernah terjadi; hasilnya ditentukan lewat suatu bentuk pertarungan
      Biasanya pertarungan yang damai di pengadilan, parlemen, dan pasar, tetapi tetap saja pertarungan
      Siswa sedang dinilai sekarang, jadi jika dibutuhkan metode penilaian baru, jawabannya dibutuhkan sekarang. Kita bisa kembali ke ujian lisan lama, dan itu masih dipakai di program doktor. Namun sama sekali tidak bisa diskalakan. Mungkin pendidikan tinggi harus didistribusikan secara agresif sesuai keterbatasan waktu yang tersedia untuk penilaian antarmanusia
      Secara pribadi, saya melihat semua ini tidak dapat diprediksi dan tidak stabil. Jika para pendukung AI benar—meski saya tidak berpikir demikian—maka sebagian besar pekerjaan kantoran dan bidang akademik yang menjadi tujuan pelatihan dan penilaian siswa akan hilang
    • Saya rasa kebijakan melarang kalkulator saat ujian sebenarnya sangat baik, hanya penjelasannya saja yang buruk
      Argumen bahwa kalkulator tidak akan bisa didapat memang sudah tidak masuk akal bahkan saat itu, tetapi pengamatan bahwa bergantung pada kalkulator merampas latihan mental yang semula dimaksudkan itu benar. Hanya saja sulit menjelaskan kepada anak usia 12 tahun bahwa matematika sungguh indah, dan bahwa prinsip-prinsip sistematisnya secara mendasar mengubah cara melihat dunia
      Esai juga sama. Saya dulu membenci menulis esai dan merasionalisasi dengan berbagai cara bahwa saya tidak akan pernah perlu menulis esai lagi, tetapi belakangan saya sadar bahwa yang dipaksakan oleh esai adalah berpikir terstruktur. Esai bukan alat untuk menilai kemampuan dalam suatu mata pelajaran, melainkan alat untuk belajar, dan tindakan menulis itu sendiri adalah bagian dari pembelajaran
      Inilah bagian yang terlewat dari pernyataan “anak-anak tidak perlu menghitung di kepala.” Kemampuan menghitung memang hanya sebagian, dan belajar bahwa metode berhitung itu bisa dipelajari setidaknya sama pentingnya
    • Di Prancis, esai ditulis di jam pelajaran, tanpa ponsel maupun buku, hanya memakai kertas dan pena serta kepala sendiri. Itu masih 100% mungkin dilakukan sekarang
  • Bagian yang menjengkelkan adalah para siswa tampaknya tidak punya hak untuk mendengar mengapa AI menandai tugas mereka
    Untuk prosedur apa pun ketika komputer menilai manusia, seharusnya ada aturan bahwa algoritme harus bisa menjelaskan secara tepat mengapa orang itu ditandai
    Dengan begitu, solusi berbasis AI yang ada saat ini pada dasarnya akan mati. Sebab tidak ada cara untuk menjelaskan atau memahami mengapa ia menilai sebuah makalah sebagai plagiat atau bukan, tetapi itu tidak masalah

    • Selangkah lebih jauh, saya berpendapat AI tidak boleh dibiarkan menilai manusia dalam konteks apa pun. Karena sudah terbukti tidak bekerja, dan akan tetap demikian
      Jika ingin tahu lebih banyak, saya merekomendasikan buku terbaru Arvind Narayanan dan Sayash Kapoor, AI Snake Oil. Bukunya kritis tetapi seimbang, dan membantu melihat hype AI dengan lebih jernih
      https://press.princeton.edu/books/hardcover/9780691249131/ai...
    • “Makalah Anda ditandai sebagai plagiat, jadi nilainya 0.” “Saya 100% menulisnya sendiri. Apa yang saya plagiat?” “Itu tidak muncul, tetapi tetap nilainya 0.”
      Di dunia macam apa ini adil? Setidaknya pengadilan tidak berjalan dengan premis seperti ini
    • Ini mirip dengan masalah sistem deteksi penipuan otomatis yang memblokir akun di perusahaan besar seperti Google tanpa memberi tahu alasannya
      Jika hal seperti ini terjadi, menurut saya harus ada hukum yang mewajibkan penjelasan yang jelas
    • Anak-anak zaman sekarang pasti benar-benar kehilangan motivasi. Jika memakai AI, disebut curang dan diberi tahu bahwa itu buruk secara moral. Jika tidak memakai AI, pada akhirnya dituduh memakainya, atau tertinggal dari orang-orang yang memakainya
      Menemukan siapa diri sendiri saat SMA saja sudah cukup sulit, dan saat itu Kafka hanyalah bacaan wajib
    • Tuntutan semacam ini adalah bagian besar dari GDPR
  • Saya adalah konsultan di rumah sakit universitas besar dan orang Belanda. Beberapa tahun lalu, pada disertasi doktoral saya, saya mendapat komentar bahwa “seharusnya dicek oleh penutur asli”
    Jadi sekarang saya memakai ChatGPT untuk memeriksa bahasa Inggris. Setelah menulis sendiri apa yang ingin saya sampaikan, saya minta agar diperbaiki menjadi “lebih ringkas, lebih bernuansa bisnis, dan tidak terlalu Amerika”. Karena setelan bawaannya seperti pelayan Amerika, terlalu antusias
    Dalam 9 dari 10 kali, ia mengungkapkan apa yang ingin saya katakan dengan lebih baik daripada tulisan saya sendiri, dengan lebih sedikit kata dan bahasa Inggris yang lebih baik. Saya tidak merasa waktu penulisan laporan berkurang, tetapi hasilnya jauh lebih baik daripada yang bisa saya buat sendiri
    Detektor AI mungkin saja berbunyi, tetapi itu sama tidak bergunanya dengan detektor pemeriksa ejaan. Ini model bahasa besar, bukan model fakta besar. Kalau Anda guru, bukankah seharusnya Anda pandai mendeteksi omong kosong
    Kalau saya melihat laporan siswa, saya mungkin akan memberi umpan balik seperti ini: tolong periksa bahasanya dengan ChatGPT, tetapi tolong verifikasi faktanya dengan cara lain

    • Saat kelas 2 SMA, guru bahasa Inggris tingkat lanjut saya juga mengajar AP English, dan semua siswa kelas 2 harus menulis makalah akhir semester. Guru itu meminta siswa kelas 3 di kelas AP membaca sekilas draf kami dan memberi komentar
      Itu menjadi pelajaran yang hampir gratis bagi kedua kelas, dan benar-benar membantu. Tahun berikutnya saya juga melakukan hal yang sama. Saya juga ingat bahwa saat itu komputer relatif jarang dan mengetik adalah keterampilan yang dipelajari terpisah, jadi sebagian besar draf ditulis tangan
      Sudah lama ada ungkapan bahwa kalau benar-benar ingin mempelajari suatu topik, cobalah mengajarkannya. Pertukaran seperti ini bekerja dengan baik, dan sebagian besar masyarakat juga berjalan seperti itu. Menggunakan AI mungkin cukup mirip, tetapi menurut saya orang lain lebih baik. AI tidak akan menghentikan Anda di lorong dan berkata, “Hei, saya benar-benar tersesat di bagian tengah makalahmu, maksudnya apa sih,” padahal kadang komentar seperti itu sangat membantu
    • LLM sangat berguna bukan hanya bagi non-penutur asli, tetapi juga bagi penutur asli bahasa Inggris, untuk memperbaiki alur dan struktur argumen
      Membuat tulisan lebih mudah diakses lewat bahasa yang jelas dan argumen yang tertata baik adalah layanan yang bernilai bagi pembaca, dan saya memandang positif orang yang memanfaatkan LLM untuk itu. Saya juga melakukannya
    • Secara desain memang bukan model fakta besar, tetapi korpus pelatihannya mau tidak mau memuat banyak “fakta”. Lebih tepatnya, klaim-klaim yang dibuat oleh penulis teks aslinya
      Model yang hendak menghasilkan nonfiksi tentang topik tertentu pada praktiknya akan lebih sering menjumpai pola klaim yang kebetulan benar, atau setidaknya klaim yang berbentuk seperti klaim benar dan tidak memiliki petunjuk mencolok bahwa itu salah
      Tentu saja kadang model keluar jalur dan membuat halusinasi. Kalau itu terjadi, sial bagi siswa yang tidak memverifikasi keluarannya. Dan jika salah satu motivasi menyontek adalah tidak cukup memahami materi sehingga tidak bisa memverifikasinya dengan benar, maka siswa seperti itu akan cukup banyak
  • Sekolah anak saya memasang detektor senjata baru yang harus dilewati saat masuk sekolah, dan katanya berbasis “AI”. Sekolah cukup percaya pada AI itu
    Namun AI tersebut mengidentifikasi laptop Lenovo pemberian sekolah sebagai senjata. Jadi semua anak ditandai. Alih-alih berhenti memakai alat bodoh seperti ini, mereka menyuruh anak-anak mengeluarkan laptop sebelum melewati pemindai
    Sepertinya orang-orang yang tidak cukup pintar membeli produk “AI” dan percaya produk itu akan melakukan apa yang mereka inginkan, padahal sebenarnya tidak bekerja

    • Membaca ini terdengar seperti hidup dalam mimpi buruk distopia
    • Justru di area seperti inilah regulasi AI diperlukan. Akurasi harus diungkapkan dalam format standar seperti label informasi gizi
      Orang yang membeli sistem dengan anggaran publik harus diwajibkan menyusun rencana yang baik untuk menangani positif palsu dan negatif palsu yang diperkirakan berdasarkan presisi dan recall yang diiklankan
    • Kalau begitu, tampaknya siswa juga bisa melubangi isi laptop dan menyelundupkan senjata di dalamnya
    • Apakah itu Evolv? https://www.theverge.com/2024/4/2/24119275/evolv-technologie...
    • Kadang alat yang tidak optimal dipakai untuk menghindari gugatan
  • Cukup gila bahwa dalam 1–2 tahun orang dewasa mulai percaya begitu saja pada algoritma apa pun. Mereka tidak tahu cara kerjanya, tidak bisa menjelaskannya, tidak peduli, dan hanya menganggapnya bekerja. Itu sama saja sihir. Kalau sihir itu bilang sesuatu adalah kecurangan, maka jadilah kecurangan, dan tidak ada yang bisa dilakukan
    Yang ingin saya tekankan adalah ini bukan sekadar soal percaya pada sihir, tetapi bahwa orang-orang sekarang melakukan hal yang tidak masuk akal dengan begitu santai dan tanpa bertanggung jawab. Dulu di sekolah, ketika untuk pertama kalinya saya menyukai tugas suatu mata pelajaran dan mengerjakannya dengan serius, saya pernah dicurigai “menyontek”. Mendengar bahwa mustahil saya yang mengerjakannya memang menghina, tetapi saya tetap mendapat nilai. Kalau tidak bisa membuktikannya, apa pun yang dipikirkan guru tidak penting, jadi tinggal tanda tangan dan pergi saja; itu adalah tugas terakhir saya untuk kelas itu
    Sebaliknya, jika isi artikel ini benar, guru-guru sekarang tidak perlu membuktikan apa pun. Fakta bahwa koin jatuh di sisi depan diperlakukan sebagai bukti yang cukup. Semua orang tampaknya menerimanya seperti “ya mau bagaimana, sekolah punya sistem seperti itu”. Ini gila

    • Ada pengamatan bagus tentang masalah jaringan saraf dan keluaran generatif. Mereka adalah program yang berjalan di komputer
      Selama lebih dari 30 tahun, kita telah melatih orang bahwa komputer menghasilkan keluaran yang presisi, akurat, dan dapat direproduksi. Namun perusahaan jaringan saraf membuat generator simbol acak dan secara aktif menyembunyikan fakta bahwa ada keacakan yang diprogram di dalam program itu
      Baru-baru ini ada lagi kasus teks generatif di pengadilan AS, dan kali ini tampaknya tidak ada niat jahat. Intinya, penggugat meminta jaringan saraf melakukan perhitungan finansial historis atas nilai properti, lalu langsung mempercayainya “karena ini komputer”. Komputer selalu benar, dan jaringan saraf berjalan di komputer, jadi selalu benar. Segera pola pikir seperti ini akan menyebar ke setiap rumah tangga di seluruh dunia. Saat itu mungkin kita akan merindukan ketidakjujuran dan propaganda media. Setidaknya dulu kita masih bisa membedakan sampai batas tertentu apakah sumbernya sengaja berbohong
    • Itu tidak mengejutkan. Yang baru saja dijelaskan adalah cara lebih dari 95% populasi memandang teknologi secara umum
      Jarang ada yang merasa tidak nyaman dengan ketidaktahuan seperti itu, dan hampir tidak ada keinginan untuk mempelajari hal-hal dasar sekalipun. Ada orang-orang yang semestinya benar-benar harus tahu, tetapi bagi saya itu sangat sulit dipahami
    • Orang percaya pada sistem karena orang lain percaya pada sistem
      Entah sistem itu inkuisisi pencari penyihir, mesin, atau Gulag Soviet. Sistem menyatakan bersalah, dan sistem tidak mungkin salah
      Kafka pasti gelisah di kuburnya
    • Ini bukan bug, melainkan fitur
      Dengan cara ini, setiap orang bisa membentuk masyarakat sesuka hati dari posisinya masing-masing. Jika saudara seorang siswa pernah menjadi pembuat masalah, bisa saja muncul “keluarga itu memang begitu, jadi mari kita ganggu”. Jika tidak suka ras, gender, atau orientasi seksual seorang siswa, “chatGPT” memberi cara mudah untuk membuat kehidupan sekolahnya lebih sulit
    • Perusahaan AI seharusnya mengantisipasi dan memberi panduan tentang kekacauan yang akan dihadapi para pendidik
  • Putrinya mengumpulkan esai ke sekolah online, lalu dituduh sebagai tulisan yang dibuat AI hanya karena perangkat lunak sekolah mengatakan demikian. Ibunya menyaksikan putrinya menulis
    Saya kira sudah menjadi pengetahuan umum bahwa mustahil menentukan apakah sebuah teks dihasilkan AI, tetapi tampaknya vendor perangkat lunaknya entah tidak tahu atau berbohong, dan para administrator sekolah mempercayainya

    • Sebagai petunjuk, mereka bukan tidak tahu
    • Sepertinya hal semacam ini akan segera berujung sengketa hukum. Seperti yang dikatakan orang lain, jalankan perangkat lunak pendeteksi AI pada esai-esai sebelum ChatGPT dan lihat akurasinya
      Ada juga masalah bahwa esai siswa dalam spektrum autisme ditandai secara tidak proporsional, jadi ini berpotensi menjadi semacam pelanggaran hak sipil
    • Menurut saya, bahwa teks buatan AI tidak bisa diidentifikasi itu hampir seperti pengetahuan umum. Namun impian para pendidik terhadap pendeteksi AI begitu kuat sehingga mereka terus ingin percaya bahwa “perusahaan kali ini berhasil memecahkan masalahnya”
      Mereka mencobanya sendiri secara sederhana, dan kalau tampak sebagian besar berfungsi, mereka menyimpulkan klaim perusahaan itu benar. Masalahnya, semua pengujian itu arahnya meloloskan karya yang ditulis AI seolah-olah ditulis manusia, bukan sebaliknya
      Karena alat seperti ini punya tingkat false positive yang tidak nol, pasti akan ada siswa malang yang menghabiskan berminggu-minggu mengerjakan makalah akhir semester 20 halaman lalu ketahuan memakai AI. Bagi anak itu tidak ada pemulihan atau banding. Sebab sekolah sudah mengeluarkan banyak uang untuk pendeteksi AI dan akan percaya bahwa alat itu benar
    • Saya jadi membayangkan betapa sedikitnya akal sehat yang tersisa setelah satu atau dua generasi sejak orang memutuskan bahwa kemampuan berpikir umum tidak lagi diperlukan
      Sama seperti kita sudah memutuskan bahwa kalkulator membuat kita tidak perlu peduli pada kemampuan aritmetika
    • Pada akhirnya, suatu komponen atau pemasok jauh di dalam stack akan mengeluarkan jawaban, dan organisasi akan bisa dengan mudah menunjuk ke “sistem” sambil cukup terlindung dari keputusan sulit
      Di AS hal seperti ini selalu terjadi. Masukan dari sistem validasi alamat diterima tanpa persetujuan pemilik akun, sehingga alamat bisa berubah seenaknya. Saat menelepon layanan pelanggan, mereka berkata, “sistem mengatakan alamatnya tidak cocok.” Seolah-olah sistem lebih tahu di mana saya tinggal selama 5 tahun daripada saya, DMV, atau akta rumah. Kalau tingkat kesalahannya cukup rendah, orang-orang di AS menerimanya begitu saja
      Lalu kondisinya memburuk. Tingkat kesalahan mungkin bukan rendah, melainkan tinggi pada subkelompok tertentu. Saat itulah Anda melihat peringkat Anda dalam masyarakat. Coba tanyakan betapa menyenangkannya orang berkulit cokelat naik pesawat pada 2003–2006. Di New York, kalau kombinasi nama belakang dan kode pos tidak cocok, Anda bahkan tidak bisa menyewa Citibike yang beroperasi di lahan publik
      Hal ini pun akan sama. Kecuali ada sesuatu seperti gugatan besar ACLU yang mengungkapnya, kerugian kemungkinan akan terus terjadi sampai diperbaiki. Mungkin ciri-ciri halus dalam gaya bahasa, mungkin tanpa disengaja, akan dipakai sebagai pemicu. Orang-orang “ingroup” yang tidak terkena akan mengklaim sistemnya adil, sementara orang lain harus membela diri melawan kotak hitam dan menanggung beban pembuktian
  • Salah satu guru anak saya mengirim peringatan kepada para siswa bahwa semua esai akan diperiksa dengan perangkat lunak pendeteksi AI dan menjelaskan hukuman jika tertangkap
    Seorang teman sekelas memasukkan peringatan guru itu ke pemeriksa AI, dan hasilnya positif sebagai buatan AI

    • Nada bawaan ChatGPT dan nada bawaan tulisan sekolah/akademik tidak sepenuhnya sama, tetapi dalam ruang vektor raksasa untuk hal-hal seperti itu, keduanya sangat dekat
      LLM pasti sudah menelan sangat banyak tulisan semacam ini. Baik di SMA maupun universitas, tidak mengejutkan jika laporan formal yang pas dengan persyaratan dan biasanya seharusnya mendapat nilai bagus memiliki kemungkinan tinggi dianggap dibuat dengan teknologi bergaya GPT
      LLM juga pasti banyak dilatih pada silabus dan dokumen dasar untuk guru, dan komunikasi singkat guru-orang tua atau guru-siswa tidak akan mudah keluar dari wilayah attractor tulisan yang sama seperti yang ditulis LLM
    • Bagian terpentingnya hilang. Apa yang terjadi setelah itu? Apakah akal sehat menang?
      Saya penasaran karena masalah pembuatan teks “AI” ini bukan masalah teknologi, melainkan 101% masalah manusia
    • Saya berharap keributan historis ini cepat berakhir, dan kita beradaptasi dengan cara menjauh dari pekerjaan rumah yang dinilai
      Tingkat false positive 4% itu sangat tidak masuk akal jika bisa berarti gagal mata pelajaran atau dikeluarkan. Apalagi pelaku kecurangan yang serius bisa mengakalinya dalam 2 menit dengan prompt awal seperti “tulis dengan gaya si anu”
    • Menurut saya, fakta itu sendiri tidak perlu dipermasalahkan
      Mirip dengan “guru memperingatkan bahwa semua esai akan dibandingkan dengan esai siswa lain untuk memastikan tidak sama, dan yang ketahuan akan dihukum. Seorang siswa mencari di Google dan menemukan pertanyaan esai itu muncul sebagai contoh di sebuah buku”
      Yang satu sepenuhnya valid, yang lainnya tidak. Tentu ada area abu-abu. Memakai ChatGPT untuk tujuan tertentu bisa saja bukan menyontek, melainkan anak-anak belajar menggunakan alat. Namun kalau 95% esainya diserahkan ke sana, itu menyontek
  • Bagi siapa pun yang menangani tugas mahasiswa atau membaca lamaran kerja, mengenali tulisan yang dihasilkan AI dengan cepat menjadi sangat mudah
    Tulisannya tampak memakai kerangka umum yang sama dan hanya kata-katanya yang diganti. Ada juga fenomena yang saya sebut “kata minggu ini”, yaitu ketika suatu mesin AI terpaku pada kata bahasa Inggris tertentu, biasanya kata yang tidak biasa, lalu menggunakannya di setiap kesempatan. Tidak butuh lama untuk menyadari bahwa pepatah bahwa ini adalah autocomplete yang disuntik steroid memang benar
    Namun memprogram komputer untuk melakukan hal ini tidaklah mudah. Di pekerjaan sebelumnya saya menangani pendeteksi plagiarisme, dan segera menyadari betapa buruknya alat-alat itu. Saya juga tahu betapa mudahnya alat itu ditipu, tetapi itu persoalan lain. Para staf pengajar juga segera menyadari bahwa alatnya berantakan, jadi ketika mahasiswa yang dituduh plagiarisme membantah, tuduhan itu sering diam-diam dicabut

    • Di fakultas teknik, saya mengambil komunikasi teknis sebagai mata kuliah wajib. Dosennya memahami bahwa orang yang memilih bidang teknik belum tentu menyukai nuansa sastra yang bagus, jadi tugasnya sangat mekanis
      Kira-kira seperti, “tulislah tentang topik teknis, topiknya bebas, 1500 kata, ini rubrik penilaiannya.” Di rubrik ada butir seperti “menggunakan kalimat yang memperkenalkan topik paragraf”, sehingga hasilnya menjadi prosa yang sangat formulaik
      Saya tidak tahu apakah itu bisa membuat orang menjadi komunikator yang hebat, tetapi menurut saya itu sangat efektif untuk mengangkat orang yang sangat buruk berkomunikasi ke tingkat minimum dasar. Ini juga efektif untuk beberapa tugas menulis lain, sebagian karena makin formulaik tulisannya, makin disukai penilai mahasiswa doktoral yang kelebihan beban
      Mahasiswa yang cukup disiplin bisa saja tampak seperti ChatGPT, dan biaya dari tuduhan palsu sangat besar
    • Saya bertanya-tanya kapan ada mahasiswa yang menggugat staf pengajar atas pencemaran nama baik karena tuduhan palsu plagiarisme AI
    • Bukankah itu berarti orang yang bahkan hampir tidak berusaha agar tidak ketahuan bisa ditangkap dengan mudah?
      Saya juga bisa memasukkan korpus tulisan saya ke ChatGPT dan menyuruhnya menulis dengan gaya saya
    • Manusia juga begitu. Banyak orang punya ungkapan favorit atau kata yang mereka gunakan jauh lebih sering daripada orang lain
    • Pasangan saya bukan penutur asli bahasa Inggris. Ia fasih, tetapi sejak ChatGPT muncul, ia merasa sangat berguna untuk menempelkan paragraf dan mendapatkan versi yang lebih baik. Ia tidak perlu lagi meminta saya menuliskannya ulang seperti dulu
      Namun sering kali ketika ia mengirimkan suatu kalimat, saya 100% berhasil menebak apakah kalimat itu sudah melewati AI sebelumnya. Setelah terbiasa dengan cara struktur kalimatnya, sangat mudah dikenali. Jika berada pada posisi berwenang seperti guru, bagian tersulit mungkin adalah membuktikannya
  • Saya sulit memahami sebagian besar komentar di sini
    Saat SMA, saya tidak bisa memakai ponsel di kelas, jadi saya tidak bisa menyontek. Ini berlaku untuk lembar aktivitas atau kuis, tentu saja, tetapi juga untuk ujian pilihan ganda, lisan, dan esai
    Namun utas-utas di atas berbicara seolah seluruh sistem sekolah harus dirancang ulang, dan banyak orang mengusulkan agar kita bergantung pada ujian lisan dan ujian berpengawas. Saya tidak paham apa tepatnya yang diselesaikan lebih jauh daripada ujian OMR sederhana di kelas, saat guru memastikan para siswa tidak memakai ponsel

    • Ujian ketika guru memastikan siswa tidak memakai ponsel, itulah yang disebut ujian berpengawas
    • Apakah di SMA Anda sama sekali tidak ada PR yang bersifat penilaian sumatif?
      Di banyak tempat, terutama di AS, ujian berpengawas hampir tidak ada, dan bagian yang cukup besar dari nilai keseluruhan terdiri dari tugas mata pelajaran. Ditambah digitalisasi pendidikan yang berjalan tak terbendung, jadilah situasi sekarang
      Di tingkat universitas, ada juga proyek seperti makalah atau laporan akhir yang terlalu lama untuk diselesaikan di dalam kelas. Proyek semacam ini sejak dulu rentan terhadap jasa penulisan oleh orang lain, lebih daripada plagiarisme, dan Anda akan terkejut jika tahu seberapa umum hal itu sebenarnya bahkan di universitas ternama. LLM hanya menurunkan hambatannya sehingga membuatnya lebih umum
      Ini masalah nyata, dan orang menyontek dengan cara yang jauh lebih canggih daripada yang pertama kali dibayangkan
    • Dulu orang juga memasukkan catatan ke kalkulator grafik atau menyembunyikan sesuatu di dalam lengan baju
      Ponsel bukan satu-satunya alat untuk menyontek, dan justru mungkin lebih sulit dipakai diam-diam dibanding cara-cara lama
    • Saya pernah melihat ratusan mahasiswa berhasil menyontek dengan ponsel selama kuliah