Masa Depan Penipuan Sudah Tiba, Hanya Saja Belum Tersebar Merata

• LLM dapat menjalankan penipuan yang dipersonalisasi dengan membuat dalih spesifik per orang seperti wawancara kerja, kontak darurat keluarga, email bank, atau romansa, lalu setelah mengambil alih akun dapat berlanjut ke pemantauan jangka panjang dan serangan susulan
• Penipuan lama terbagi antara model kirim-massal berbiaya rendah dan model tertarget berbiaya tinggi, tetapi LLM mengisi celah di antaranya dengan memungkinkan serangan tertarget dilakukan murah dan berulang
• Makalah tahun 2024 memperkirakan biaya email spear-phishing berbasis LLM sekitar 4 sen, dan walau skenario penipuan rekrutmen lebih rumit, pada kemampuan LLM tahun 2026 hal itu bisa cukup layak dijalankan
• Heuristik seperti “tulisan yang alami”, “kehadiran web yang solid”, dan “verifikasi lewat telepon atau panggilan video” dulu menjadi indikator pengganti untuk biaya dan kemampuan, tetapi kini kloning suara dan deepfake real-time melemahkan keandalannya
• Pertahanan tidak cukup hanya dengan lebih mencurigai semua pesan; diperlukan kebiasaan baru seperti kata sandi lisan dalam keluarga, verifikasi lewat kanal terpisah, lebih memercayai kanal yang kita kirim sendiri, dan 2FA perangkat keras

---

Skenario penipuan rekrutmen yang dibuat LLM

• Pencari kerja menerima tawaran rekrutmen di LinkedIn yang tampak sangat cocok untuk dirinya, lalu mengikuti proses wawancara yang terlihat seperti peluang bagus dari perusahaan ternama
• Sebelum wawancara, ia diminta menandatangani NDA dengan masuk ke platform yang tampak seperti SaaS legal, menggunakan alur seperti “Sign in with Google/iCloud”
• Halaman login terlihat nyata, dan kata sandi yang dimasukkan pengguna serta alur 2FA “tekan yes di perangkat” digunakan penyerang di sisi lain untuk login ke akun yang sebenarnya
• Penyerang menyimpan session cookie, lalu membuat semuanya terlihat seperti login normal bagi pengguna sehingga akses akun itu tersembunyi
• Setelahnya, wawancara dan pemberitahuan gagal lolos berfungsi sebagai sandiwara agar korban tidak curiga
• Beberapa bulan kemudian, korban menyadari adanya pencurian identitas, pengeluaran kartu kredit atas namanya, sebagian kebocoran akun sekuritas, serta hilangnya akses ke email dan berbagai akun online

Alur serangan yang mungkin setelah pengambilalihan

• Penyerang terus mengakses email dan akun sambil memantau pola perilaku pengguna
  • Memfilter lebih dulu email peringatan dari akun target agar notifikasi tidak sampai ke korban
  • Mengunduh file cloud dan menggunakan akun itu untuk login ke situs lain
  • Membuka kartu kredit menggunakan informasi korban
• Menguras dana dari rekening keuangan tidak mudah karena perlindungan dalam sistem keuangan modern
  • Transfer bank online dapat terdeteksi, memerlukan beberapa hari, dan karena regulasi KYC ada kemungkinan rekening tujuan dapat dilacak
  • Situs bank sering memakai 2FA dan notifikasi login
• Meski begitu, jika akses jangka panjang tetap tidak terdeteksi, penyerang bisa membidik akun yang lebih jarang diperiksa seperti akun sekuritas
  • Mereka bisa menemukan rekening tempat gaji ditransfer otomatis
  • Setelah masuk lewat reset kata sandi, mereka bisa membuat pola penggunaan melalui transfer kecil
  • Dengan memanfaatkan informasi di kalender seperti jadwal liburan, mereka bisa memilih saat ketika korban lebih sulit menyadarinya
• Jika menilai penipuan akan segera terbongkar, mereka bisa mengunci korban keluar dari akun sehingga makin sulit memahami apa yang terjadi

Titik perubahan struktur biaya penipuan

• Penipuan lama pada umumnya terbagi menjadi dua kategori
  • Kirim-massal: murah, mudah dijalankan, dan menyasar orang yang kurang terampil
  • Tertarget: mahal dan canggih, menyasar orang yang bernilai tinggi untuk diserang atau yang punya otoritas dalam organisasi
• Alasan penipuan spam sengaja terlihat ceroboh adalah agar orang yang lebih terampil tersaring sejak awal, sehingga biaya penanganan berikutnya berkurang
• Orang yang paham teknologi relatif aman dari penipuan kirim-massal hanya dengan praktik dasar keamanan komputer dan pemahaman tentang kemampuan sistem
• Penipuan canggih yang menyasar aset pribadi memang ada, tetapi kebanyakan orang merasa kecil kemungkinan dirinya dijadikan target
• LLM mengubah struktur kemampuan penyerang yang sebelumnya terpolarisasi
  • Makalah 2024 memperkirakan biaya spear-phishing yang dijalankan LLM sekitar 4 sen per email
  • Skenario penipuan rekrutmen lebih rumit dan lebih mahal, tetapi LLM tahun 2026 sudah lebih maju sehingga bisa cukup layak dijalankan
  • Penipu dapat mengoperasikan ribuan penipuan sekaligus dan meneliti materi tiap individu untuk membuat dalih yang dipersonalisasi

Kemampuan yang diberikan LLM kepada penipuan

• Tugas yang dulu membutuhkan upaya besar dari manusia terampil untuk tiap target kini bisa dilakukan LLM dengan murah
  • Riset korban dan pemilihan pendekatan terbaik
  • Komunikasi yang dipersonalisasi dan disesuaikan berdasarkan respons
  • Kloning suara orang tepercaya seperti anggota keluarga
  • Deepfake panggilan video yang nyaris real-time
  • Membangun kehadiran web palsu yang meyakinkan
  • Pemantauan real-time atas sumber daya yang diretas dan perluasan serangan yang disesuaikan
  • Pencarian dan penyaringan target
  • Menghindari filter spam berbasis signature
  • Menemukan dan menghubungkan CVE yang diketahui pada software deployment yang belum ditambal
• Kemampuan-kemampuan ini sudah ada dan kemungkinan akan terus membaik
• Penipuan yang berjalan dengan biaya token bisa diulang seperti loop for, dan perluasan skala memungkinkan strategi yang sebelumnya sulit dilakukan dalam penipuan per kasus

Tiga perubahan yang dibuka oleh skala

• Skala memungkinkan kesabaran
  • Sulit bagi tim manusia untuk menunggu berbulan-bulan atau bertahun-tahun terhadap satu orang, tetapi jika banyak orang ditangani sekaligus dengan LLM, operasi bisa dibiarkan tidur untuk sementara
  • Beberapa penipuan juga bisa dijalankan tumpang tindih pada waktu yang berjauhan
• Skala memungkinkan kombinasi
  • Misalnya, penipuan kecil dipakai untuk merekrut kurir uang, lalu digabungkan agar memungkinkan pengurasan dana yang lebih besar
  • Cara film The Sting meniru lembaga tepercaya lewat banyak penipuan kecil kini mungkin dilakukan dengan biaya jauh lebih rendah
• Skala menciptakan target baru
  • 1.000 akun yang diambil alih menjadi 1.000 posisi terautentikasi di dalam masing-masing platform
  • Titik yang sebelumnya ditoleransi platform sebagai “celah yang manfaatnya lebih besar daripada biaya penipuan sesekali” bisa langsung berubah menjadi lubang besar yang harus ditutup jika 1.000 akun disalahgunakan bersamaan
  • Perhitungan seperti “The optimal amount of fraud is nonzero” bisa berubah saat menghadapi penyalahgunaan simultan berskala besar
• Menggabungkan serangan semacam ini masih memerlukan keterampilan, tetapi jika alat yang dapat dipakai ulang dijual di pasar penipu, bisa muncul “script kiddies untuk penipuan”
• Sebagian penipu mungkin sudah memakai kemampuan seperti ini, tetapi karena belum menyebar luas, heuristik individu maupun perusahaan belum cukup disesuaikan

Mengapa heuristik lama melemah

• Saat menerima kontak dari orang asing, orang biasanya mencari tahu lawan bicara, memverifikasi kontak keluarga lewat telepon atau panggilan video, dan waspada pada titik ketika percakapan berubah menjadi permintaan yang berpengaruh
• Sebagian heuristik ini merupakan indikator pengganti biaya
  • Tulisan yang lancar dan dipersonalisasi dulu menjadi sinyal bahwa orang sungguhan telah meluangkan waktu
  • Kehadiran web yang kuat dulu merupakan sinyal yang sulit dipoles dan mahal dibuat
  • Ada asumsi bahwa penipu tidak akan mengeluarkan upaya sebesar itu hanya untuk satu orang
• Heuristik lain bertumpu pada batas kemampuan
  • Dulu sulit meniru suara anggota keluarga secara alami lewat telepon
  • Ada harapan bahwa orang yang ditemui di panggilan video adalah orang sungguhan, dan bila perlu polisi bisa mengidentifikasinya
• LLM dan deepfake mengguncang kedua fondasi ini sekaligus: biaya dan kemampuan
• Akibatnya, orang kini harus mengeluarkan lebih banyak upaya bukan hanya untuk menghindari penipuan, tetapi juga untuk yakin apa yang benar-benar nyata
  • Jika anggota keluarga di kota lain meminta transfer darurat, kita harus sekaligus mempertimbangkan kemungkinan akun diretas, komunikasi disadap, dan deepfake
  • Mungkin diperlukan verifikasi tambahan setingkat datang langsung atau meminta orang lain di wilayah tersebut untuk memastikan

Heuristik institusional juga goyah

• Bukan hanya individu; lembaga keuangan dan regulator juga bergantung pada heuristik
• Perlindungan perbankan konsumen di AS menarik garis tegas pada siapa yang menyetujui transfer
  • Jika seseorang mengakses akun dan melakukan transfer penipuan, struktur yang berlaku membuat bank menanggung penggantiannya
  • Jika pengguna tertipu lalu mentransfer sendiri, ia bisa melapor sebagai tindak kriminal, tetapi tidak berarti ada pihak yang wajib menggantinya
• Pembedaan ini masuk akal di dunia ketika “pencurian kata sandi” lebih mudah daripada penipuan persuasi manual yang tertarget, tetapi goyah jika LLM menurunkan biaya persuasi tertarget
• Inggris meloloskan aturan pada 2024 yang mewajibkan bank mengganti nasabah yang tertipu hingga mentransfer uang
• Namun, jika semua kerugian penipuan harus diganti bank, biayanya bisa terlalu besar berpindah ke bank dan bank bisa memilih untuk tidak berbisnis dengan orang yang dinilai berisiko tinggi menjadi korban penipuan

Cara pertahanan baru yang dibutuhkan

• Tidak cukup hanya dengan mencurigai semua email dan semua suara telepon secara ekstrem
  • Heuristik lama kini hanyalah indikator pengganti untuk mendeteksi sinyal yang sekarang bisa dipalsukan dengan murah
• Seperti masa ketika Wikipedia tidak boleh dipakai untuk tugas sekolah, berpegang pada aturan kepercayaan lama bisa menjadi koreksi ke arah yang salah
  • Setelah ledakan informasi internet, dibutuhkan heuristik baru seperti verifikasi sumber dan validasi silang
  • Penipuan di era LLM juga memerlukan heuristik baru
• Melihat kerangka umum penipuan bisa menjadi pendekatan yang efektif
  • Urgensi, tuntutan menjaga rahasia, dan permintaan menggunakan kanal yang tidak biasa berulang dalam banyak penipuan
  • Walaupun kalimatnya makin canggih, struktur “meminta sesuatu” tetap ada
• Bersama keluarga, cara yang berguna adalah menetapkan kata sandi lisan
  • Jika tidak ada kata sandi, kejadian masa lalu yang kecil kemungkinan tercatat di dokumen publik bisa dipakai untuk verifikasi
  • Kepada anggota keluarga yang kurang akrab dengan teknologi, bisa diberi tahu: “kalau ada telepon darurat, serius, atau rahasia yang mengatasnamakan saya, curigai dulu, tutup teleponnya, lalu verifikasi lewat kanal lain”
• Sulit memercayai keaslian komunikasi yang masuk, tetapi jalur yang sengaja dipakai pengguna untuk menghubungi pihak lain relatif lebih bisa dipercaya
  • Email yang ditulis ke alamat tertentu umumnya benar-benar sampai ke inbox itu
  • Panggilan ke nomor tertentu umumnya benar-benar sampai ke perangkat itu
  • Sebaliknya, header email from: dan nomor penelepon mudah dipalsukan

Praktik keamanan dan adaptasi ke depan

• 2FA perangkat keras dapat membantu memblokir banyak bagian dari perangkat penipu
  • FIDO2/WebAuthn, bila tersedia, memasukkan domain situs web dalam pertukaran kredensial sehingga situs phishing sulit sekadar meneruskan signature
  • Ini dipandang sebagai perlindungan yang lebih kuat daripada SMS atau aplikasi autentikator
• Tidak tertipu sama sekali bukan hal yang realistis, tetapi kita bisa menjadi target yang lebih mahal dan lebih sulit diserang
• Pihak bertahan juga bisa menggunakan kemampuan LLM
  • Mozilla melakukan red-team terhadap Firefox dengan Mythos, lalu menilai ada kemungkinan nyata alat seperti ini dapat menemukan seluruh kerentanan keamanan
  • Android baru-baru ini memperkenalkan impersonated call detection
• Lembaga dan sistem mungkin bisa menyiapkan perlindungan yang lebih baik seiring waktu, tetapi proses itu akan memakan waktu dan bisa menjadi perlombaan senjata
• Untuk sementara, penipuan diperkirakan akan melonjak, dan tiap orang perlu memikirkan apa arti perubahan ini bagi diri sendiri, teman, dan keluarga, serta mencari cara untuk saling membantu

[GN⁺]

Komentar Lobste.rs

• Syukurlah saya bekerja di bidang kesehatan masyarakat. Kalau proses rekrutmen semulus itu, saya mungkin langsung curiga, dan dinas kesehatan lokal tidak punya anggaran untuk itu
• Dalam alur seperti ini, saya tidak paham bagaimana ini bisa dilakukan hanya dengan kata sandi. Bukankah penyerang juga harus mengendalikan ponsel?
  Bukankah korban menerima email peringatan login baru? Bukankah mereka juga bisa melihat sesi yang sedang login?
  • Bukan cuma punya kata sandi, tetapi juga cookie sesi. Saat login ke situs phishing, pihak penyerang juga sedang login, dan jika alur autentikasi dua faktor muncul dalam proses itu, mereka mungkin meneruskannya begitu saja. Email peringatan bisa dihapus atau difilter
    Sesi yang sedang login memang akan terlihat, tetapi tidak semua orang langsung memeriksanya segera setelah menerima pesan untuk login. Akun Google juga tidak jarang sesekali meminta login ulang karena berbagai alasan
    Ada langkah mitigasi seperti lebih teliti melihat bilah URL, tetapi skenario proses wawancara itu sendiri dirancang untuk menurunkan kewaspadaan
    Dan perlu ditekankan, penipuan yang dibahas di awal artikel hanyalah satu contoh dari penipuan yang kini jauh lebih mudah diotomatisasi dibanding sebelumnya, dan itu bukan satu-satunya jenis yang perlu dikhawatirkan
• Saya kurang bisa menerima framing seperti, “Kemampuan seperti ini sudah ada, dan ke depannya akan makin baik. Teknologi seperti ini harus dipandang sebagai batas bawah, bukan batas atas.” Tidak ada jaminan teknologi ini akan berkembang lebih jauh dari sekarang, dan permainan ekonomi berupa investasi berputar pada akhirnya tampaknya akan meledak
  • Setuju. Ini berangkat dari kasus nyata seperti spear phishing yang menggunakan deepfake, lalu langsung melompat ke pengambilalihan akun otomatis penuh dalam skala besar dan serangan man-in-the-middle
    Diasumsikan bahwa karena komponen-komponennya kurang lebih sudah ada, semuanya bisa langsung dirakit, tetapi model bahasa besar belum cukup andal agar hal seperti itu benar-benar berjalan dengan baik