Detektor AI yang salah menuduh siswa berbuat curang — dengan konsekuensi besar
- Sekitar dua pertiga guru dilaporkan secara rutin menggunakan alat untuk mendeteksi konten yang dibuat AI. Pada skala seperti ini, tingkat kesalahan kecil pun dapat cepat terakumulasi.
Kasus Moira Olmsted
- Moira Olmsted, yang sempat berhenti kuliah pada awal pandemi untuk memulai keluarga, sangat ingin kembali bersekolah.
- Pada 2023 ia mendaftar di kelas online Central Methodist University, tetapi tugas yang ia kumpulkan dinilai kemungkinan dibuat oleh AI oleh alat deteksi AI sehingga ia mendapat nilai 0.
- Olmsted mengatakan ia berada dalam spektrum autisme dan menulis dengan cara yang formal, sehingga bisa keliru dianggap sebagai tulisan buatan AI.
- Nilainya akhirnya diubah, tetapi ia menerima peringatan keras bahwa jika hal itu terjadi lagi, kasusnya akan diperlakukan sama seperti plagiarisme.
Masalah akurasi detektor tulisan AI
- Detektor tulisan AI terbaik sangat akurat, tetapi tidak sempurna.
- Businessweek menguji GPTZero dan Copyleaks menggunakan 500 sampel esai pendaftaran kuliah yang dikirim sebelum peluncuran ChatGPT.
- Layanan-layanan tersebut secara keliru menandai 1~2% esai sebagai kemungkinan ditulis oleh AI.
- Siswa yang terkena positif palsu kemungkinan adalah mereka yang neurodivergen, pengguna bahasa Inggris sebagai bahasa kedua, atau orang yang diajarkan untuk menggunakan kosakata sederhana dan gaya mekanis.
- Layanan deteksi AI kadang juga bisa tertipu oleh alat otomatis yang dirancang untuk menyamarkan tulisan AI agar tampak seperti tulisan manusia.
Kasus Ken Sahib
- Ken Sahib, siswa multibahasa yang menghabiskan sebagian besar masa kecilnya di Italia, mengatakan ia merasa “sangat kewalahan” ketika mendapat nilai 0 untuk tugas ringkasan bacaan di kelas jaringan komputer di Berkeley College.
- Profesornya menuduh tugas itu dibuat oleh AI, dengan alasan semua alat memberikan hasil yang sama.
- Sahib akhirnya lulus kelas itu, tetapi insiden tersebut merusak hubungannya dengan sang profesor.
Masalah akibat penggunaan detektor AI
- Sebagian pendidik mulai menjauh dari detektor AI dan berupaya mengintegrasikan AI ke dalam kurikulum, tetapi banyak universitas dan SMA masih menggunakan alat ini.
- Akibatnya, ruang kelas dipenuhi kecemasan dan paranoia terhadap tuduhan palsu.
- Mahasiswa sarjana mengatakan mereka menghabiskan banyak waktu untuk membela keaslian pekerjaan mereka, yang menurunkan kualitas pengalaman belajar.
- Mereka juga menjadi takut menggunakan layanan bantuan menulis AI umum dan pemeriksa tata bahasa yang secara khusus dipasarkan kepada pelajar.
Startup deteksi AI
- Detektor tulisan AI umumnya melihat perplexity, yang mengukur kompleksitas kata dalam sebuah kiriman.
- Perusahaan deteksi AI menekankan bahwa layanan mereka tidak boleh diperlakukan sebagai hakim, juri, dan algojo, melainkan sebagai titik data untuk membimbing dan memberi informasi kepada guru.
- Copyleaks memberikan akses kepada siswa ke layanannya agar mereka bisa melihat skor AI mereka sendiri.
- Turnitin memperluas portofolio produk AI-nya dengan layanan yang membantu siswa menunjukkan proses bagaimana mereka menyusun tugas menulis mereka.
Cara siswa menyiasatinya
- Setelah dituduh, Olmsted menjadi terobsesi untuk menghindari tuduhan lain. Ia merekam layar saat mengerjakan tugas menulis di laptop, bekerja di Google Docs agar perubahan bisa dilacak, dan membuat jejak bukti digital.
- Nathan Mendoza, mahasiswa tahun ketiga teknik kimia di UC San Diego, menggunakan GPTZero untuk memeriksa pekerjaannya terlebih dahulu. Ia mengatakan sebagian besar waktunya dihabiskan untuk mengubah ungkapan agar tidak salah ditandai oleh detektor AI.
- Siswa lain mempercepat proses ini dengan menggunakan layanan “humanisasi AI” yang dapat secara otomatis menulis ulang kiriman agar lolos dari detektor AI.
Layanan “humanisasi AI”
- Menurut pengujian Bloomberg terhadap Hix Bypass, sebuah esai yang ditulis manusia tetapi secara keliru dinilai GPTZero sebagai 98.1% AI, setelah diubah oleh layanan ini persentase AI-nya turun drastis menjadi 5.3%.
Masalah penggunaan alat bantu menulis seperti Grammarly
- Siswa mulai mempertimbangkan ulang penggunaan alat bantu menulis online populer seperti Grammarly.
- Bloomberg menemukan bahwa jika sebuah esai “diperbaiki” atau dibuat “terdengar akademis” menggunakan Grammarly, pekerjaan yang sebelumnya lolos sebagai 100% ditulis manusia dapat berubah menjadi 100% ditulis AI.
- Kaitlyn Abellar dari Florida SouthWestern State College mengatakan ia telah menghapus plugin untuk program seperti Grammarly dari komputernya.
Sistem saat ini tidak berkelanjutan
- Bagi sebagian pendidik dan siswa, sistem saat ini terasa tidak berkelanjutan karena beban yang ditimbulkannya bagi kedua sisi meja guru dan karena AI akan terus ada.
- Adam Lloyd, profesor bahasa Inggris di University of Maryland, mengatakan, “Kecerdasan buatan akan menjadi bagian dari masa depan, suka atau tidak,” dan bahwa “mengisolasi AI dari ruang kelas atau melarang siswa menggunakannya adalah gagasan yang keliru.”
Pendapat GN⁺
- Masalah positif palsu pada alat deteksi AI dapat berdampak serius terutama bagi siswa neurodivergen, pelajar bahasa Inggris, dan siswa yang menggunakan gaya tulisan sederhana. Institusi pendidikan perlu mempertimbangkan kelompok-kelompok ini dan menafsirkan hasil deteksi AI dengan hati-hati.
- Perlombaan senjata antara detektor AI dan layanan humanisasi AI merusak kepercayaan antara pendidik dan siswa, sementara manfaat pendidikannya sangat kecil. Mencari cara untuk mengintegrasikan AI ke dalam kurikulum bisa menjadi pendekatan yang lebih baik dalam jangka panjang.
- Daripada melarang penggunaan alat seperti Grammarly untuk meningkatkan kemampuan menulis siswa, perlu dipertimbangkan cara memanfaatkannya secara edukatif. Misalnya, guru dapat memberikan daftar alat yang direkomendasikan langsung atau panduan penggunaan yang tepat.
- Upaya perusahaan deteksi AI seperti Copyleaks dan Turnitin untuk mengembangkan layanan yang lebih ramah siswa merupakan perubahan yang positif. Namun, alih-alih terlalu bergantung pada alat ini, lebih baik menangani kasus-kasus yang mencurigakan melalui komunikasi terbuka dengan siswa.
- Untuk mempersiapkan masa depan ketika koeksistensi AI dan manusia tak terelakkan, penting untuk mengajarkan penggunaan alat AI yang etis kepada siswa serta menumbuhkan kemampuan berpikir kreatif dan kritis. Untuk itu dibutuhkan perubahan inovatif dalam kurikulum dan metode evaluasi.
1 komentar
Opini Hacker News
Berdasarkan pengalaman 30 tahun mengajar matematika di pendidikan tinggi, kecurangan merajalela dalam ujian jarak jauh. Solusinya adalah melarang penggunaan teknologi dan mewajibkan ujian tatap muka, tetapi mahasiswa tidak akan mendaftar ke kelas. Saya pikir dewan pendidikan tinggi harus mewajibkan ini untuk semua kelas. Namun, ujian tatap muka saja tidak cukup. Mahasiswa sudah terbiasa mengerjakan sesuatu demi lulus, bukan demi belajar, dan kecurangan meningkat. Pendidikan K-12 juga perlu berubah.
Karena AI akan tetap ada, kita memerlukan cara baru untuk menilai hasil belajar siswa. Dulu kalkulator dilarang dalam ujian karena tidak boleh digunakan, tetapi sekarang kita hidup di era ketika kalkulator tersedia 24/7. Kita harus beradaptasi dengan perubahan dan masyarakat perlu bersama-sama memutuskan cara meresponsnya.
Masalahnya adalah tidak dijelaskan kepada siswa mengapa AI menandai pekerjaan mereka. Algoritme seharusnya bisa menjelaskan dengan tepat mengapa pekerjaan tertentu ditandai. Solusi berbasis AI saat ini tidak bisa menjelaskan hal itu, jadi tidak layak digunakan.
Seorang guru memperingatkan seorang siswa bahwa semua esai akan diperiksa dengan perangkat lunak pendeteksi AI, tetapi ternyata teks peringatan itu sendiri dibuat oleh AI.
Sebagai konsultan yang bekerja di rumah sakit universitas besar, saya menggunakan ChatGPT untuk membuat bahasa Inggris saya lebih ringkas dan lebih bernuansa bisnis. Pendeteksi AI mungkin bisa berfungsi, tetapi tidak seberguna pemeriksa ejaan. AI hanyalah large language model, dan sebenarnya bahkan bukan model fakta. Guru harus menjadi pendeteksi kebohongan yang baik.
Jika deteksi AI tidak 100% akurat, maka saya tidak percaya itu layak digunakan untuk menentukan masa depan jutaan siswa dan anak muda. Kita harus menjauh dari teknologi atau format esai. Standar penguasaan terhadap suatu topik harus diubah.
Mengidentifikasi pekerjaan yang dihasilkan AI mungkin mudah bagi manusia, tetapi sulit diprogram ke komputer. Saat menangani pendeteksi plagiarisme di pekerjaan sebelumnya, saya menyadari betapa mudahnya alat-alat itu dikelabui.
Sungguh kontradiktif ketika guru menggunakan pendeteksi LLM untuk membuat siswa gagal. Guru menuduh siswa tidak memahami tugas, tetapi guru sendiri juga tidak memahami keputusan alat itu dan menghindari tanggung jawab.
Sekolah anak-anak kami memperkenalkan pemindai senjata bertenaga AI, tetapi malah mengenali laptop Lenovo yang dibagikan sekolah sebagai senjata. Orang membeli dan mempercayai produk AI, tetapi produk itu tidak bekerja dengan baik.
Mengejutkan bahwa orang-orang jadi mempercayai algoritme. Mereka tidak tahu cara kerjanya dan tidak bisa menjelaskannya, tetapi tetap percaya bahwa itu bekerja. Jika seseorang dinyatakan curang, tidak ada yang bisa dilakukan. Banyak orang tidak mau bertanggung jawab. Dulu seseorang bisa dicurigai menyontek, tetapi jika tidak bisa dibuktikan maka itu tidak masalah. Namun sekarang, tidak perlu bukti lagi dan orang hanya percaya bahwa sistemnya ada.