- AI Classifier adalah alat yang dirilis untuk mengidentifikasi teks yang ditulis oleh AI generatif seperti ChatGPT, namun dihentikan sekitar setengah tahun kemudian karena akurasi yang rendah
- Fakta penghentian ini tidak diumumkan secara terpisah, melainkan hanya diberitahukan melalui catatan tambahan pada posting blog yang pertama kali memperkenalkan alat tersebut, dan tautan ke classifier itu juga sudah tidak dapat diakses lagi
- Saat dirilis pun OpenAI menyatakan classifier ini "tidak bisa sepenuhnya diandalkan", dan hanya mampu mengidentifikasi 26% teks buatan AI sambil salah mengklasifikasikan 9% tulisan manusia sebagai AI
- Terdapat keterbatasan seperti penurunan keandalan pada teks di bawah 1.000 karakter, salah klasifikasi terhadap tulisan manusia, dan penurunan performa di luar data pelatihan
- Dunia pendidikan menjadi pihak yang sangat menaruh perhatian, terutama karena kekhawatiran siswa menulis esai dengan ChatGPT, sehingga penting untuk memahami keterbatasan dan dampak pengklasifikasi teks AI
Penghentian AI Classifier
- AI Classifier diam-diam dihentikan operasinya minggu lalu dengan alasan "akurasi yang rendah (low rate of accuracy)"
- Penjelasan diberikan bukan melalui pengumuman baru terpisah, tetapi hanya lewat catatan tambahan pada posting blog yang pertama kali mengumumkan alat itu
- Tautan yang sebelumnya mengarah ke classifier OpenAI juga sudah tidak lagi disediakan
Latar belakang perilisan dan performa awal
- Pada bulan Januari, OpenAI mengumumkannya sebagai alat untuk mendeteksi apakah suatu konten dibuat oleh AI generatif seperti ChatGPT
- Meski dirilis dengan klaim dapat membedakan teks tulisan manusia dan AI, saat itu pun sudah dicantumkan bahwa alat ini "tidak bisa sepenuhnya diandalkan"
- Angka hasil evaluasi pada "challenge set" teks berbahasa Inggris juga dipublikasikan
- 26% teks buatan AI berhasil diidentifikasi dengan tepat sebagai "kemungkinan besar ditulis AI"
- 9% teks tulisan manusia salah diklasifikasikan sebagai tulisan AI
Keterbatasan AI Classifier
- Keandalannya rendah pada teks kurang dari 1.000 karakter
- Tulisan manusia bisa salah diklasifikasikan sebagai buatan AI
- Classifier berbasis jaringan saraf menunjukkan performa yang buruk pada area di luar data pelatihannya
Arah OpenAI ke depan
- OpenAI sedang mengerjakan tindak lanjut berdasarkan umpan balik, sekaligus meneliti teknik provenance yang lebih efektif untuk teks
- Mereka juga berjanji mengembangkan dan mendistribusikan mekanisme yang memungkinkan pengguna mengetahui apakah konten audio dan video dihasilkan oleh AI
Dunia pendidikan dan kebutuhan deteksi AI
- Sejak peluncuran ChatGPT pada November, para pendidik menyuarakan kekhawatiran atas potensi penyalahgunaan untuk penulisan esai oleh siswa
- Sambil mengakui bahwa identifikasi teks AI telah menjadi topik diskusi penting di kalangan pendidik, OpenAI menekankan bahwa memahami keterbatasan dan dampak classifier teks buatan AI di ruang kelas sama pentingnya
- Seiring makin canggihnya alat AI yang bermunculan hampir setiap hari, terbentuk pula industri rumahan (cottage industry) detektor AI
- Belum ada tanggapan atas permintaan komentar dari Decrypt
1 komentar
Komentar Hacker News
Bagus mereka melakukannya, tetapi tentu saja mereka seharusnya memberi pengumuman
Mengejutkan bahwa ada begitu banyak orang di ekosistem ini yang percaya bisa menentukan apakah sesuatu ditulis AI hanya dari tulisan beberapa kalimat. Yang lebih absurd adalah orang-orang yang punya kewenangan benar-benar memercayai dan bertindak berdasarkan penilaian alat “ditulis AI vs ditulis manusia” yang sebenarnya tidak bisa dijamin
Semoga ini menjadi satu lagi contoh bahwa apakah suatu string keluaran LLM atau bukan tidak bisa begitu saja dideteksi
Model seperti ini sejak awal ditakdirkan gagal kecuali parameternya benar-benar dirahasiakan dan tidak pernah bocor. Bahkan jika rahasia, artinya hanya orang yang punya akses yang bisa mengelabuinya sementara yang lain tidak, sehingga pada akhirnya pihak lawan juga terdorong membuat modelnya sendiri dan jadilah perlombaan senjata tanpa akhir
Solusi sebenarnya seharusnya adalah membutuhkan alat yang lebih baik untuk otomatis menilai konten yang bagus, entah ditulis manusia atau AI. Jika itu bisa dilakukan, manfaatnya besar; sekalipun menjadi kompetisi, yang diperebutkan adalah membuat konten dengan kualitas lebih tinggi
Informasi yang dimiliki “detektor” sangat sedikit, dan satu-satunya kriteria yang masih agak masuk akal hanyalah hal seperti gaya bahasa. ChatGPT memang punya gaya tertentu, tetapi itu sama sekali bukan satu-satunya gaya, dan semakin baik kinerjanya, menurut definisi ia akan makin mampu menulis dengan baik dalam gaya yang lebih beragam
Jika masalahnya adalah orang-orang menggunakannya secara keliru, itu lebih dekat pada berarti alat tersebut tidak dirancang sesuai kebutuhan penggunaan orang-orang. Misalnya, jika masalahnya adalah penggunaan keliru saat kalimatnya terlalu sedikit, bisa saja ditambahkan syarat seperti jumlah kalimat minimum agar tingkat kepercayaan minimum terpenuhi
Cara menampilkan maknanya juga sama. Jika orang tidak memahami statistik atau matematika, tampilkan maknanya secara visual dengan lingkaran atau koin. Menghilangkan pilihan bukan sesuatu yang baik, apalagi jika dilakukan secara sinis dengan menilai orang seolah-olah mereka tidak pantas memilikinya; itu tidak masuk akal
Foundation AI Models Need Detection Mechanisms as a Condition of Release [pdf]
Bagus. Jika tidak bisa dipercaya, keberadaannya justru merugikan karena memberi rasa aman palsu
Sebagai contoh serupa, gerai pengantaran piza lokal tempat saya dulu bekerja menyegel kotak dengan stiker pengaman agar kurir tidak mengutak-atik atau memakannya. Namun karena alasan logistik, kadang itu terlupa. Kotak tanpa stiker mulai semuanya dikembalikan karena pelanggan khawatir pepperoni mereka dicuri, dan tak lama kemudian sistem itu dihentikan
Ini mirip dengan tidak mungkinnya seseorang berkata bahwa karena segel keamanan pada botol aspirin pernah lupa dipasang, dan karena ada orang di produksi yang tidak menyegel botol, maka semua segel akan dihapus
Alat ini telah mendorong banyak sekali tuduhan palsu di dunia akademik. Istri saya sedang menempuh program doktor, dan ia sering bercerita tentang profesor yang secara keliru menuduh mahasiswa menggunakan ChatGPT
Dari yang saya dengar belakangan ini, para guru meminta PR dikumpulkan lewat Google Docs, lalu melihat riwayat revisinya untuk memastikan apakah seluruh tulisan memang ditulis sendiri atau hanya menempelkan esai yang sudah jadi lalu sekadar mengeditnya
Tentu saja siswa yang cerdas akan dengan mudah menemukan cara untuk melakukan streaming output GPT ke Google Docs. Mereka juga bisa membuatnya terlihat seolah-olah sesekali berkeliling dan “merevisi” di tengah proses
Siswa yang pintar dan tidak etis hampir tidak bisa dideteksi, apa pun rintangan yang dipasang. Ini hanya akan menghalangi siswa yang kurang pintar
Siapa pun bisa membuat agen yang mengetikkan tulisan buatan ChatGPT secara perlahan ke Google Docs. Google juga mungkin bisa menilai apakah sebuah dokumen kemungkinan diketik oleh manusia, tetapi tidak akan melakukannya karena alasan yang sama seperti OpenAI menghentikan alat ini
Seseorang akan melihat berita ini atau thread ini lalu membuat editor atau evaluator semacam itu. Solusi lain adalah merekam layar selama menulis. Solusi terbaik sekaligus yang paling sulit bagi pendidik adalah tidak meminta atau menilai hal-hal yang bisa ditulis robot lebih baik daripada kebanyakan manusia
Namun ini tidak terlalu bagus. Proyek yang dikerjakan di rumah menilai himpunan kemampuan yang berbeda; sebagian orang lebih baik di satu sisi, sebagian lain di sisi lainnya. Tapi kenyataan tetap kenyataan
Kalau ada lebih dari 30 siswa, kecil kemungkinan guru akan memeriksa riwayat revisi satu per satu
Kesimpulan “setengah tahun kemudian, alat itu mati karena tidak mampu menjalankan tujuan desainnya” juga persis seperti yang saya simpulkan saat menguji pendeteksi gambar
Deteksi otomatis saat ini tidak terlalu bisa diandalkan. Saya mencoba AI or Not dari Optic, yang mengklaim akurasi 95%, pada beberapa gambar saya. Gambar yang berisi konten AI memang ditandai dengan benar sebagai buatan AI, tetapi sekitar 50% komposit foto stok yang saya buat juga ditandai sebagai buatan AI
Kalau AI generatif bukan target yang terus bergerak, saya mungkin optimistis alat semacam ini akan berkembang dan menjadi sangat dapat diandalkan. Namun kenyataannya tidak begitu, dan saya meragukan apakah ini suatu saat akan menjadi solusi yang bisa dipercaya
Ini diambil dari tulisan saya tentang seni AI: https://www.mindprison.cc/p/ai-art-challenges-meaning-in-a-w...
Dari pengalaman saya, jika respons ChatGPT diklasifikasikan sebagai buatan AI oleh alat seperti ZeroGPT, cukup dengan sedikit mengubah prompt dan memintanya agar tidak terdengar seperti ditulis AI, deteksi bisa dilewati dengan probabilitas sangat tinggi
Selain itu, jika diminta membuat respons dengan gaya penulis terkenal tertentu, sering kali hasilnya keluar sebagai 100% ditulis manusia di sebagian besar model pendeteksi AI
Pembaruan terbaru tampaknya sangat mengubah nada ChatGPT, sehingga sekarang tidak lagi tertangkap radar deteksi
Bagus. Saya juga menganggap memasang watermark pada output AI sebagai jalan buntu. Lebih baik mengasumsikan semua konten palsu sampai terbukti sebaliknya
Jika butuh foto yang dapat dipercaya, tampaknya lebih baik gambar ditandatangani secara kriptografis di tingkat hardware pada saat foto diambil. Memasang watermark secara sukarela pada konten AI sama sekali tidak ada artinya
Saya berada di industri SEO, dan setelah berbicara dengan beberapa “pemain besar”, saya percaya pembaruan AI Google sedang disiapkan. Dengan kondisi sekarang, dalam waktu dekat hasil pencarian akan sepenuhnya ditelan konten AI
Dalam jangka panjang saya menganggapnya langkah bodoh, tetapi saat ini memang ada pendeteksi klasifikasi AI yang cukup berhasil mendeteksi ChatGPT dan model lain pada tulisan panjang. Originality.ai adalah contoh utamanya
Caranya cukup sederhana. Mereka menghasilkan sangat banyak contoh dari model-model utama seperti ChatGPT, GPT-4, dan LLaMA, lalu membuat model klasifikasi
Kelemahan yang jelas dari strategi ini adalah fine-tuning mengubah keluaran gaya tulisan. “Pemain besar” yang sama mengatakan ia berhasil melewati pendeteksi Originality.ai dengan metode fine-tuning miliknya sendiri, dan proses itu menghabiskan berbulan-bulan pengujian serta ribuan dolar
Kondisi Google saat ini bencana. Semua artikel berisi 100 paragraf, dan jawaban yang dicari dikubur di tengah-tengah agar waktu tinggal dan scroll bertambah demi memuaskan algoritme
Saya menunggu Google menenggelamkan semua situs web spam seperti ini
Banyak tulisan di sini tampaknya menganggap bahwa mengklasifikasikan teks buatan manusia dan teks buatan AI secara praktis akan menjadi mustahil. Upaya semacam itu bisa dilumpuhkan dengan berbagai cara dalam permainan kucing-kucingan tanpa akhir
Jika kita menerima itu, tantangan yang saya perkirakan adalah sebagai berikut
Kita baru berada di tahap paling awal revolusi AI, dan agar LLM ke depan menjadi lebih canggih dan kuat, diperlukan data pelatihan berkualitas yang dibuat manusia atau diseleksi manusia. Skalanya kemungkinan sulit untuk diseleksi, dibersihkan, dan diperiksa kualitasnya secara manual
Dan tidak diragukan lagi bahwa ke depan semua media akan dibombardir dan dispam oleh konten buatan AI
Jadi, untuk melatih LLM masa depan dan mengeluarkan potensinya, bagaimana kita bisa menyaring data nyata dari derau buatan AI?
Masalah ini sudah lama mengganjal di pikiran saya, dan karena tidak ada istilah yang lebih baik, sebelumnya saya pernah menyebutnya sementara sebagai pencemaran data. Saya penasaran dengan sudut pandang lain
Satu-satunya cara untuk mencegah AI menjawab pertanyaan di platform digital adalah membuat basis data machine learning dari gaya mengetik yang terkumpul selama seorang mahasiswa berkuliah di sebuah institusi
Semoga beruntung mendapatkan persetujuannya. Departemen bahkan baru bisa mengakses nilai atau data demografis setelah kelompok operasional melewati prosedur komite tiga tingkat
¯_(ツ)_/¯ Kalau begitu, mau tidak mau harus pakai kertas. Saatnya berlatih OCR lagi
Namun pihak yang punya lebih banyak data gaya mengetik sebenarnya adalah Google, Microsoft, Meta, dan semua perusahaan yang menjalankan SaaS dokumen, email, dan messaging. Banyak mahasiswa tampaknya menulis esai di tempat seperti Google Docs atau Word, lalu mengirimkannya sebagai lampiran atau menyalin dan menempelkannya ke kotak teks