- CAPTCHA masih banyak digunakan sebagai mekanisme pertahanan terhadap bot, tetapi jika dilihat dari kasus deployment nyata dan pengalaman pengguna, keseimbangan antara keamanan dan kegunaan sudah sangat goyah
- Dalam survei terhadap 200 situs web populer dan studi pengguna MTurk, reCAPTCHA berbasis klik menjadi yang tercepat dengan median 3,7 detik, sementara tipe game, slider, dan hCAPTCHA yang sulit cenderung memakan waktu lebih lama
- CAPTCHA yang cepat tidak selalu paling disukai; ada tipe seperti game dan slider yang tetap mendapat penilaian relatif baik meski waktu penyelesaiannya lebih lama
- Dalam pengaturan berkonteks yang menempatkan CAPTCHA di dalam alur pembuatan akun, waktu penyelesaian rata-rata meningkat hingga 57,5% dibanding penyelesaian langsung, dan tingkat putus di tengah jalan juga lebih tinggi
- Semakin bertambah usia, waktu penyelesaian untuk sebagian besar CAPTCHA ikut meningkat, dan dibanding penelitian performa bot sebelumnya, ditemukan beberapa kasus di mana bot lebih cepat dan lebih akurat daripada manusia
Mengapa CAPTCHA kembali perlu dievaluasi
- CAPTCHA telah digunakan luas selama sekitar 20 tahun sebagai sarana pertahanan terhadap bot, tetapi teknik untuk melewati atau menyelesaikannya secara otomatis juga terus berkembang
- CAPTCHA awal memakai metode memasukkan teks terdistorsi yang dibaca dari gambar, tetapi dengan kemajuan computer vision dan machine learning, pada 2014 ada kasus di mana alat otomatis mencapai akurasi lebih dari 99%
- Saat ini CAPTCHA telah bercabang ke berbagai bentuk
- Berbasis pengenalan objek: “pilih kotak yang berisi objek tersebut”
- Berbasis teks terdistorsi
- Berbasis puzzle: “geser blok”
- Berbasis analisis perilaku pengguna
- Penelitian ini menargetkan CAPTCHA yang tidak dimodifikasi dan benar-benar digunakan di web nyata
- Survei manual terhadap 200 situs web populer
- Studi pengguna utama berbasis MTurk dengan skala 1.000 orang
- Studi MTurk tambahan untuk melihat tingkat putus di tengah jalan secara terpisah
- Dataset anonim lengkap dan kode analisis dipublikasikan: captcha-study
Distribusi CAPTCHA di 200 situs web populer
- Survei manual dilakukan terhadap 200 situs teratas berdasarkan daftar situs web Alexa Top
- 185 situs memiliki prosedur pembuatan akun
- 142 situs memungkinkan pembuatan akun sungguhan
- Setiap situs dikunjungi masing-masing dengan mode incognito Chrome dan browser Tor
- Jenis CAPTCHA yang diamati paling menonjol adalah dominasi reCAPTCHA
- reCAPTCHA: 68 situs, 34% dari sampel
- CAPTCHA berbasis slider: 14 situs, 7%
- CAPTCHA teks terdistorsi: 14 situs, 7%
- CAPTCHA berbasis game: 9 situs, 4,5%
- hCAPTCHA: 1 situs
- CAPTCHA tak terlihat: 12 situs, 6%
- Lainnya: CAPTCHA mirip lotre gosok, CAPTCHA mencari karakter Mandarin di gambar, NuCaptcha, dan lain-lain
- Cakupan survei ini memiliki keterbatasan yang jelas
- Karena dilakukan manual, hanya 200 situs teratas yang dicakup
- Tidak semua fungsi dijalankan, sehingga jumlah deployment CAPTCHA yang sebenarnya bisa lebih banyak
- Bergantung pada peringkat situs web dan kondisi CAPTCHA pada titik waktu tertentu
- CAPTCHA pada situs tujuan khusus seperti dark web tidak disertakan
- Dalam dataset BuiltWith yang mencakup 673 juta situs web, dari 15,2 juta situs yang menggunakan CAPTCHA, reCAPTCHA menyumbang 97,3% dan hCAPTCHA 1,4%
- Jenis CAPTCHA yang digunakan dalam penelitian ini mencakup lebih dari 98% menurut dataset berskala besar tersebut
Desain studi pengguna
- Studi pengguna utama dilakukan di MTurk terhadap 1.000 orang, dan peserta menyelesaikan 10 CAPTCHA dalam urutan acak
- Prosedurnya terdiri dari empat tahap
- Pengenalan studi
- Pertanyaan awal: pengumpulan informasi demografis
- Tugas penyelesaian CAPTCHA
- Pertanyaan setelah tugas: preferensi terhadap CAPTCHA yang baru saja diselesaikan dan sebagainya
- Total ada 10 jenis CAPTCHA yang digunakan
- 2 jenis reCAPTCHA v2: pengaturan termudah bagi pengguna, dan pengaturan paling ketat dari sisi keamanan
- 2 jenis game dari Arkose Labs: memutar objek, memilih objek dengan arah yang benar
- 2 jenis hCAPTCHA: pengaturan mudah, pengaturan sulit
- 1 jenis CAPTCHA slider Geetest
- 3 jenis CAPTCHA teks terdistorsi: sederhana, masking, teks bergerak
- Untuk membandingkan konteks eksperimen, digunakan dua pengaturan
- Pengaturan langsung: peserta diberi tahu bahwa ini adalah studi untuk menyelesaikan CAPTCHA, lalu 10 CAPTCHA ditampilkan secara langsung
- Pengaturan berkonteks: peserta diberi tahu bahwa ini adalah studi pembuatan akun, dan CAPTCHA dibuat muncul setelah setiap formulir pembuatan akun dikirim
- Dalam pengaturan berkonteks, informasi sintetis diberikan agar tidak mengumpulkan data pribadi, dan tujuan sebenarnya diungkapkan setelah tugas selesai
- Metode ini mendapat persetujuan IRB, termasuk dokumen terkait pengungkapan yang tidak lengkap dan perubahan persetujuan
- Setelah tujuan diungkapkan, data peserta yang tidak menyetujui penggunaan datanya tidak dikumpulkan
- Imbalan peserta awalnya adalah 0,30 dolar untuk pengaturan langsung dan 0,75 dolar untuk pengaturan berkonteks
- Setelah dipastikan median waktu penyelesaian masing-masing 4,4 menit dan 11,5 menit, jumlahnya dinaikkan secara retroaktif menjadi 0,60 dolar dan 1,50 dolar
Perbedaan waktu penyelesaian dan preferensi
- Waktu penyelesaian sangat berbeda menurut jenis CAPTCHA
- reCAPTCHA berbasis klik adalah yang tercepat dengan median 3,7 detik
- Perbedaan antara pengaturan mudah dan pengaturan sulit tidak besar
- CAPTCHA teks terdistorsi sederhana paling cepat diselesaikan di antara CAPTCHA teks terdistorsi
- Waktu penyelesaian tipe masking dan teks bergerak serupa
- hCAPTCHA menunjukkan perbedaan yang jelas antara pengaturan mudah dan sulit, dengan pengaturan sulit memberi tugas gambar yang lebih menantang atau lebih banyak ronde
- CAPTCHA tipe game dan slider umumnya memiliki median waktu penyelesaian tinggi, tetapi beberapa peserta bisa menyelesaikannya dalam kurang dari 10 detik
- Preferensi pengguna tidak sepenuhnya sejalan dengan waktu penyelesaian
- reCAPTCHA berbasis klik adalah yang tercepat dan juga paling disukai
- Tipe game dan slider memakan waktu lebih lama, tetapi tetap memperoleh skor preferensi yang tinggi
- Bahkan reCAPTCHA berbasis klik, yang paling disukai, mendapat nilai 1 atau 2 dari 18,9% peserta
- Bahkan hCAPTCHA, yang memiliki preferensi keseluruhan paling rendah, tetap mendapat nilai 4 atau 5 dari lebih dari 31,0% peserta
Perbedaan yang muncul karena konteks eksperimen
- Jika membandingkan pengaturan langsung dan pengaturan berkonteks, pada sebagian besar CAPTCHA waktu penyelesaian rata-rata dalam pengaturan berkonteks lebih tinggi
- reCAPTCHA klik mudah mengalami kenaikan waktu penyelesaian rata-rata 1,8 detik, atau 57,5%
- Arkose tipe rotasi bertambah 10 detik, atau 56,1%
- Rata-rata seluruh jenis CAPTCHA meningkat 26,7% dalam pengaturan berkonteks dibanding pengaturan langsung
- hCAPTCHA pengaturan sulit memiliki median waktu penyelesaian keseluruhan tertinggi, tetapi perbedaan waktu penyelesaian rata-rata antara dua pengaturan tidak signifikan
- Dalam uji Kruskal-Wallis, perbedaan waktu penyelesaian rata-rata signifikan secara statistik pada semua jenis CAPTCHA kecuali Geetest, reCAPTCHA berbasis gambar, dan hCAPTCHA pengaturan sulit
- Di antara kedua pengaturan itu masih ada beberapa faktor pengganggu potensial
- Peserta dalam pengaturan berkonteks melakukan lebih banyak pekerjaan
- Perbedaan imbalan dan persepsi atas penyelesaian tugas bisa memengaruhi motivasi atau kemungkinan putus di tengah jalan
Demografi, akurasi, dan tingkat putus di tengah jalan
- Usia berkaitan dengan waktu penyelesaian CAPTCHA
- Pada semua jenis kecuali reCAPTCHA gambar mudah, peserta yang lebih muda cenderung memiliki waktu penyelesaian rata-rata lebih rendah
- Penelitian sebelumnya melaporkan kenaikan 0,03 detik per tahun usia pada CAPTCHA berbasis teks, tetapi penelitian ini menunjukkan kenaikan 0,09 detik per tahun jika dirata-ratakan di seluruh jenis CAPTCHA
- Tidak terlihat perbedaan besar dalam waktu penyelesaian berdasarkan tingkat pendidikan dan gender
- Penelitian sebelumnya menyatakan peserta PhD lebih cepat daripada kelompok pendidikan lain, tetapi dalam penelitian ini tingkat pendidikan yang dilaporkan sendiri tidak berkorelasi dengan waktu penyelesaian
- Ada beberapa perbedaan menurut perangkat dan metode input
- Pengguna komputer memiliki waktu penyelesaian rata-rata lebih rendah daripada pengguna ponsel pada CAPTCHA teks terdistorsi dan reCAPTCHA klik sulit
- Antara keyboard fisik dan input sentuh terdapat perbedaan yang signifikan secara statistik pada teks terdistorsi sederhana dan masking, reCAPTCHA berbasis klik, serta Arkose tipe pemilihan
- Dalam perbandingan akurasi, terdapat perbedaan besar antar tipe
- Akurasi klasifikasi gambar reCAPTCHA: 81% untuk pengaturan mudah, 81,7% untuk pengaturan sulit
- Akurasi hCAPTCHA: 81,4% untuk pengaturan mudah, 70,6% untuk pengaturan sulit
- Untuk teks terdistorsi, jika huruf besar dan kecil tidak dibedakan, tingkat kesepakatan antar peserta naik rata-rata 20%
- Tipe sederhana: dari 84% menjadi 93%
- Tipe masking: dari 50% menjadi 73%
- Tipe teks bergerak: dari 62% menjadi 90%
- Jika dibandingkan dengan performa bot dalam literatur sebelumnya, pada banyak jenis CAPTCHA bot menghasilkan hasil yang lebih cepat dan lebih akurat daripada manusia
- reCAPTCHA berbasis klik: manusia 3,1~4,9 detik, bot 1,4 detik dengan contoh akurasi 100%
- Geetest: manusia 28~30 detik, bot 5,3 detik dengan contoh akurasi 96%
- Teks terdistorsi: manusia 9~15,3 detik dan akurasi 50~84%, bot kurang dari 1 detik dan contoh akurasi 99,8%
- reCAPTCHA berbasis gambar: manusia 15~26 detik dan akurasi 81%, bot 17,5 detik dan contoh akurasi 85%
- hCAPTCHA: manusia 18~32 detik dan akurasi 71~81%, bot 14,9 detik dan contoh akurasi 98%
- Dalam studi terpisah tentang tingkat putus di tengah jalan, 18~45% peserta keluar dari studi setelah CAPTCHA pertama ditampilkan
- Peserta dalam pengaturan berkonteks 120% lebih mungkin keluar dibanding peserta dalam pengaturan langsung
- Jika pengguna meninggalkan tugas karena CAPTCHA, hal itu dapat menyebabkan hilangnya aktivitas situs web seperti pembelian atau pembuatan akun
1 komentar
Komentar Hacker News
Menurut saya Google CAPTCHA memang dirancang dan disebarkan sebagai mekanisme untuk melatih AI, dan karena itulah bentuknya menjadi seperti sekarang.
Teater keamanan di sekelilingnya lebih seperti efek samping, dan tidak mengherankan kalau AI kini bisa menyelesaikannya dengan baik. Kita sudah melatihnya seperti itu selama bertahun-tahun
Setidaknya ada efek membuat penyerang mengeluarkan biaya
Intinya adalah analisis perilaku, termasuk menilai kemungkinan bot berdasarkan data yang sudah dikumpulkan Google bahkan sebelum pengguna memuat halaman.
Saya tidak menyangkal bahwa reCAPTCHA adalah sumber data pelatihan Google. Pasti ada alasan khusus mengapa soal reCAPTCHA V2 terus berupa identifikasi objek lalu lintas, dan toh Google juga membuat AI untuk mobil otonom.
Namun itu model bisnis, bukan fungsi intinya, dan data pelatihan itu juga tidak begitu saja diberikan kepada pengembang bot pemecah CAPTCHA
Saat ini kita menyerahkan penyaringan ke layanan seperti Cloudflare, tetapi kalau pelatihan semacam ini terus berlanjut, saya bertanya-tanya bagaimana bahkan Cloudflare bisa membedakan bot dari manusia
Saya sering melihat Google CAPTCHA menolak jawaban yang benar, dan itu bisa jadi akibat melatih bot agar menerima jawaban yang salah.
Tapi setidaknya sekarang bukan lagi rambu berhenti, jadi itu melegakan. Akan cukup memalukan kalau Google di satu sisi menjual mobil “otonom”, sementara di sisi lain menunjukkan bahwa robot tidak bisa mengenali rambu berhenti
Riset ini tampaknya membahas berbagai aspek tentang bagaimana manusia menyelesaikan CAPTCHA, dan saya tidak menemukan bagian yang mengatakan AI mengungguli manusia. Ada yang tahu bagian itu di mana?
Menyelesaikan reCAPTCHA v2/v3 membutuhkan lebih dari sekadar mengklik kotak centang dan teka-teki gambar. Kalau hanya itu, pasti sudah jadi kekacauan besar.
Pernyataan bahwa CAPTCHA dipakai untuk melatih AI benar dalam arti luas, tetapi dalam cara kerja CAPTCHA modern, saya melihatnya lebih sebagai efek samping.
Hal seperti reCaptcha V2+ memantau analisis perilaku seperti riwayat penelusuran atau gerakan mouse di atas halaman. Karena itu kebanyakan orang cukup mengklik kotak centang saja.
Saya juga tidak yakin ada model multimodal besar yang menyertakan gerakan mouse sebagai bentuk input.
AI yang dirancang untuk membobol CAPTCHA pun tidak bisa memakai data Google dan sejenisnya untuk pelatihan. Kalau kekhawatirannya adalah Google melatih botnya sendiri untuk melewati CAPTCHA, itu memang bukan mustahil, tetapi
Judulnya cukup clickbait, dan sayangnya judul seperti itu laku di HN
Ke depannya, sepertinya verifikasi kartu pembayaran akan menjadi tahap berikutnya saat mendaftar sesuatu.
Mungkin akan dimulai dengan memblokir BIN prabayar. Itu akan cukup mengerikan, tetapi sekarang saya sampai merasa lebih baik membayar 0,01 dolar daripada menyelesaikan CAPTCHA, jadi sesuatu memang dibutuhkan.
Terutama “pilih semua sepeda” itu buang-buang hidup
Jadi membeli lebih sedikit barang dan lebih jarang memakai media sosial. Jalan-jalan di alam dan buku kertas tidak punya CAPTCHA
Agar bisa bekerja di browser apa pun, caranya bisa seperti ini: pindai kode QR dengan iPhone atau perangkat Android yang mendukung attestation, tanyakan apakah login disetujui, lalu perangkat itu melakukan attestation atas nama pengguna.
Jika terbukti sebagai pelaku buruk, situs web bisa memblokir perangkat itu, sehingga sulit juga melancarkan serangan massal dari satu perangkat
Di UPI, Anda menerima kode QR atau memasukkan UPI ID, lalu menekan bayar, selesai.
Kalau khawatir soal “pencegahan penipuan”, menurut saya itu harus diselesaikan dengan bank, penjual, dan pengadilan, bukan bergantung pada perantara seperti eBay atau penerbit kartu
Saya masih ingat saat dulu tinggal di {Country}, saya sama sekali tidak punya akses ke kartu yang diterima untuk pembayaran internasional
Apakah HN pernah meminta CAPTCHA? Kelihatannya HN bertahan cukup baik hanya dengan alat operasional dan anti-spam yang mendasar tetapi terbukti, serta pembatasan laju yang mampu menahan apa pun selain DDoS yang sangat gigih.
Sepertinya juga tidak ada pembatasan yang tidak masuk akal untuk scraping atau klien pihak ketiga.
Meski begitu, HN menangani 5 juta pengunjung unik bulanan dan 10 juta tampilan per hari[0].
[0] https://news.ycombinator.com/item?id=33454140
Yang bisa dilakukan hanya memposting spam, nilai uang nyatanya rendah bagi penyerang, dan seperti yang Anda katakan, alat untuk menangani hal semacam itu sudah ada sejak puluhan tahun lalu.
Ini sangat berbeda dari situs lain yang peluang menghasilkan uangnya jauh lebih jelas dan langsung
Saya tidak begitu paham mengapa mereka bersikeras menjalankannya hanya dengan beberapa mesin. Mereka pasti punya cukup uang, dan efek promosi untuk YC juga seharusnya bisa menutup selisihnya
CAPTCHA terasa sangat menyiksa karena ambiguitas dan masalah gambar yang tidak sepenuhnya dimuat
Bahkan setelah menunggu 1 menit, sebagian gambar tetap tidak muncul. Kalaupun muncul, terlalu banyak foto sepeda, sepeda motor, dan penyeberangan pejalan kaki
Jika potongan yang sangat kecil sedikit melewati ubin lain, selalu membingungkan apakah harus diklik atau tidak. Tidak bisa menyegarkan hanya satu gambar yang belum dimuat, dan jika disegarkan, kebanyakan tampaknya harus mulai lagi dari awal
Seperti yang juga dikatakan orang lain, saat memakai Tor, CAPTCHA sering kali sama sekali tidak dimuat. CAPTCHA berhenti begitu saja tanpa menampilkan foto. Situs web biasa umumnya tetap berjalan baik di Tor, jadi tampaknya masalahnya ada di sisi CAPTCHA
Tujuh tahun lalu sudah ada prediksi seperti ini: “Bagaimana mesin akan mengambil alih? Jika CAPTCHA menjadi terlalu sulit hingga hanya AI yang bisa menyelesaikannya, manusia akan sepenuhnya terkunci dari internet.” https://twitter.com/lapcatsoftware/status/771857826130034688
CAPTCHA berbentuk “apa huruf yang ada di gambar ini” sempat jauh berkurang, dan sebagian alasannya mungkin karena hal ini
Judul kirimannya adalah “AI bots are now outperforming humans in solving CAPTCHAs”, dan ini melanggar aturan judul HN: “Gunakan judul asli dan jangan mengeditnya, kecuali judul itu menyesatkan atau clickbait”
Jika pengirim tulisan ingin menyampaikan poin yang menurutnya penting dari artikel tersebut, ia bisa menuliskannya sebagai komentar di thread. Dengan begitu pandangan itu ditempatkan di titik awal yang sama dengan orang lain: https://hn.algolia.com/?dateRange=all&page=0&prefix=false&sort=byDate&type=comment&query=%22level%20playing%20field%22%20by:dang
Judulnya diedit dengan cara yang menyesatkan. Judul dan abstrak sebenarnya tidak mengatakan bahwa AI “sekarang” melampaui manusia
Judul aslinya adalah An Empirical Study & Evaluation of Modern CAPTCHAs
Selama hampir 20 tahun, CAPTCHA telah banyak digunakan sebagai perlindungan untuk menahan bot, dan seiring penggunaannya meningkat, teknik untuk memecahkan atau melewatinya juga terus berkembang
Pada saat yang sama, CAPTCHA juga berkembang dalam hal kecanggihan dan variasi, sehingga makin sulit diselesaikan bukan hanya oleh bot tetapi juga oleh manusia
Karena perlombaan senjata lama ini terus berlanjut, penting untuk meneliti berapa lama pengguna sah membutuhkan waktu untuk menyelesaikan CAPTCHA modern dan bagaimana mereka memersepsikannya
Studi ini mengevaluasi CAPTCHA yang benar-benar diterapkan tanpa memodifikasinya, melalui survei manual atas situs web populer dan studi pengguna
Sebanyak 1.400 peserta menyelesaikan total 14.000 CAPTCHA, dan ditemukan perbedaan besar di antara jenis-jenis yang paling populer
Menariknya, waktu penyelesaian dan persepsi pengguna tidak selalu berkorelasi
Studi ini juga membandingkan perbedaan antara menyelesaikan CAPTCHA secara langsung dan menyelesaikannya sebagai bagian dari tugas yang lebih alami seperti pembuatan akun; meski ada beberapa faktor perancu, konteks eksperimen bisa berpengaruh sehingga perlu dipertimbangkan dalam riset mendatang
Terakhir, dengan menganalisis peserta yang memulai tugas tetapi tidak menyelesaikannya, studi ini juga melihat fenomena pengguna meninggalkan tugas karena CAPTCHA
Makalah seperti ini melewatkan fakta bahwa CAPTCHA memiliki beberapa tingkat kesulitan
Orang yang memakai akun enterprise atau bekerja erat dengan penyedia CAPTCHA akan melihat hasil yang sangat berbeda
Saat ini banyak penyedia CAPTCHA, ketika menentukan CAPTCHA apa yang akan disajikan dalam mode sulit, menjadikan hal-hal yang tidak bisa diselesaikan oleh model bahasa besar sebagai patokan
Alasan CAPTCHA tidak sengaja dibuat terlalu sulit adalah karena pihak seperti pex.com harus tetap bisa melewatinya untuk penegakan hak cipta
Karena saya adalah pendiri hcaptcha, saya nyatakan bahwa saya punya bias
Saya rasa CAPTCHA terbaru yang meminta kita memutar objek untuk menyusun puzzle, atau menemukan item yang sama, terasa lebih baik
Metode lama berupa membaca huruf terdistorsi, terutama yang meminta menebak apakah itu
i,1, ataul, jauh lebih menyebalkan