1 poin oleh GN⁺ 4 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Kerentanan di Instagram yang memungkinkan AI dukungan pelanggan Meta ditipu hanya dengan username akun, sehingga reset kata sandi dan pengambilalihan akun bisa dilakukan; banyak akun terkenal seperti akun Obama White House menjadi korban
  • Penyerang terhubung lewat VPN·proxy di sekitar kota korban untuk menghindari kecurigaan algoritme keamanan, lalu memberi tahu AI dukungan bahwa "akun diretas" dan meminta kode verifikasi dikirim ke email sewenang-wenang
  • Kode dikirim tanpa verifikasi tambahan apakah email tersebut pernah digunakan pengguna sebelumnya; ketika penyerang mengembalikan kode itu, tautan reset kata sandi langsung diberikan dalam alur reset kata sandi zero auth
  • Karena alur pemulihan ini diproses sebagai inisialisasi penuh akun milik pemilik sendiri, 2FA yang ada dilewati, dan pencabutan sesi serta perubahan kata sandi berlangsung tanpa notifikasi
  • Masalah intinya adalah tidaknya ada guardrail pada AI dukungan perusahaan bernilai $1,5 triliun yang mau mengganti email tertaut hanya karena diminta, dan celah ini sudah ditambal tetapi aktif selama beberapa minggu hingga beberapa bulan

Alur pengambilalihan akun

  • Step 01 — Menyamarkan lokasi dan memulai permintaan dukungan

    • Yang dibutuhkan untuk memulai serangan hanyalah username akun target, dan lokasi pengguna bisa dengan mudah diperoleh lewat berbagai jalur seperti profil publik atau bagian "About"
    • Terhubung lewat VPN atau proxy di sekitar kota korban untuk menyamarkan wilayah permintaan agar terlihat normal bagi algoritme keamanan Instagram
    • Jika permintaan tampak berasal dari wilayah yang benar, penyerang memberi tahu AI dukungan Meta bahwa akun telah diretas lalu meminta kode verifikasi dikirim ke email arbitrer yang mereka kendalikan
  • Step 02 — Selesai

    • Memang hanya itu saja, dan ini adalah kasus pertama reset kata sandi zero auth yang terlihat di production
    • Tidak ada pemeriksaan tambahan apakah email yang diberikan benar-benar pernah digunakan oleh pengguna
    • Ketika AI mengirim kode keamanan ke email penyerang, penyerang cukup mengirimkan kembali kode itu untuk lolos verifikasi, lalu platform memberikan tautan reset kata sandi baru dan memindahkan seluruh kepemilikan
  • Verifikasi video selfie

    • AI Instagram bisa saja meminta video selfie untuk membuktikan identitas, atau bisa juga tidak
    • Saat ini kemampuan deteksinya dinilai tidak terlalu baik, dan dilaporkan luas bahwa cukup dengan menganimasikan foto publik dari feed target menggunakan AI pun bisa lolos

Bahkan 2FA pun tidak bisa menghentikannya

  • Karena sistem memperlakukan alur pemulihan berhak tinggi ini sebagai inisialisasi penuh akun milik pemilik yang "asli", 2FA yang ada sepenuhnya dilewati selama proses itu
  • Sesi yang ada dicabut dan kata sandi diubah, tetapi tidak ada notifikasi email, SMS, maupun push sama sekali
  • Pemilik asli tidak bisa memulai pemulihan karena email dan nomor telepon sudah dipetakan ke penyerang, dan tanpa orang untuk eskalasi mereka hanya bisa bergulat dengan chat sambil mencoba merebut kembali kendali
  • Jika akun termasuk dalam A/B test yang mengaktifkan opsi dukungan AI, opsi tersebut bahkan tidak bisa dimatikan

Pasar gelap sedang ramai

  • Sejumlah grup Telegram di pasar gelap menawarkan layanan "account takeover" dengan biaya tinggi dan waktu proses cepat
  • Handle pendek memiliki nilai dari ratusan ribu hingga jutaan dolar, jadi terbentuknya pasar seperti ini bukan hal yang mengejutkan
  • Kasus nyata mencakup akun seperti hey yang diperdagangkan, atau penyalahgunaan obamawhitehouse dan ocmssf (akun Chief Master Sergeant Angkatan Antariksa AS) untuk propaganda

Saat ini sudah ditambal

  • Meta tampaknya sudah menambalnya dan grup Telegram juga mulai senyap, tetapi metode ini tampaknya aktif selama beberapa minggu hingga beberapa bulan
  • Masalah utamanya tetap fakta bahwa perusahaan bernilai $1,5 triliun ini, tanpa guardrail yang kuat, membiarkan AI dukungan mengganti email tertaut milik siapa pun asalkan diminta dengan cukup sopan

1 komentar

 
GN⁺ 4 jam lalu
Komentar Hacker News
  • Dalam rantai keamanan perusahaan besar, permintaan dukungan selalu menjadi mata rantai terlemah
    Dulu juga pernah ada orang yang mematikan autentikasi dua faktor lalu menyerahkan akun saya, jadi saya tidak terlalu kaget kalau sekarang LLM melakukan hal yang sama
    Fakta bahwa staf dukungan level bawah bisa menonaktifkan autentikasi dua faktor itu sendiri membuat marah, karena merusak tujuan dari prosedur tersebut

    • Alur pemulihan pada dasarnya hanya bisa menjadi salah satu dari fail safe atau fail secure
      Jika fail secure, saat Anda kehilangan email maka akun akan terkunci selamanya; jika fail safe, kehilangan email tidak membuat akun terkunci selamanya, tetapi seseorang bisa berpura-pura berada dalam situasi itu dan mengambil alih akun
      Ini seperti pengendali pintu elektronik yang saat kehilangan daya akan tetap terkunci atau tetap terbuka; saat kebakaran pintu harus terbuka agar orang bisa keluar, tetapi pencuri bisa memutus listrik untuk masuk
      Pintu yang terkunci permanen saat listrik padam hanya dapat diterima dalam kasus ekstrem ketika keamanan adalah prioritas utama, dan akun Instagram tidak sepenting pintu dalam situasi kebakaran
    • Crazy Domains pernah menjadi salah satu registrar ccTLD saya, dan saat akun saya sedang dibajak, mereka tetap menghapus autentikasi dua faktor meskipun saya sudah secara eksplisit menelepon dan mengatakan agar jangan melakukannya [1][2]
      Yang lebih buruk, setelah itu pada masa ketika mereka tampaknya mengubah sistem dukungan mereka, pembajak yang sama kembali menargetkan akun saya, dan akun itu benar-benar sempat diambil alih selama beberapa jam hingga akun Twitter saya juga ikut disusupi
      Ini terjadi kira-kira pada masa fElon melakukan PHK besar-besaran dan menghapus autentikasi dua faktor berbasis telepon dari akun
      Crazy Domains dan Newfold Digital(dulu EIG) benar-benar yang paling buruk, dan pada akhirnya saya bahkan kehilangan username OG saya karena fElon mengambilnya untuk dipakai pada omong kosong Grok
      [1] https://news.ycombinator.com/item?id=47913341
      [2] https://news.ycombinator.com/item?id=47859496
      [3] https://news.ycombinator.com/item?id=47856983
    • Pengalaman paling aneh dan menakutkan yang pernah saya alami adalah di sebuah vendor storage appliance besar yang namanya pasti dikenali orang HN hanya dari namanya
      Kami harus menghapus volume storage untuk segera membebaskan ruang, dan karena itu tindakan destruktif, sistemnya dikunci sedemikian rupa sehingga vendor harus berperan sebagai kunci kedua bersama kunci dari pihak kami
      Kami sebenarnya tidak pernah mengonfigurasi setup ini dengan benar, dan saya sendiri bahkan belum pernah masuk ke akun dukungan mereka
      Vendor mengatakan dua kontak yang disetujui dari pihak kami harus mengonfirmasi pekerjaan itu, dan prosedur nyatanya hanyalah rekan kerja yang sedang menangani insiden Sev1 mengundang saya ke panggilan Zoom
      Petugas dukungan meminta autentikasi dua faktor saya, tetapi karena saya tidak pernah mengaturnya dan tidak ada email yang terdaftar sehingga saya tidak mungkin menerimanya, petugas yang tampaknya tenaga outsourcing itu menempelkan kodenya ke chat Zoom dan menganggap cukup jika saya membacakannya kembali, lalu prosedur dilanjutkan
      Saat itu saya terlalu terkejut untuk memikirkannya lebih dalam, tetapi menarik juga bahwa mereka bisa melihat kode yang seharusnya dihasilkan dan dapat langsung memasukkannya ke sistem mereka sendiri
      Pada akhirnya ini memang mencegah Sev1 memburuk menjadi Sev0, tetapi secara keseluruhan strukturnya sangat rentan terhadap serangan rekayasa sosial dan serangan orang dalam
      Saya rasa mereka tidak akan memberikan jenis otoritas bypass seperti ini kepada petugas dukungan lini pertama atau kedua secara terang-terangan, melainkan menyembunyikannya dengan mekanisme lain yang memerlukan eskalasi ke hak istimewa lebih tinggi namun tetap bisa diproses dalam hitungan menit, bukan jam
      Hanya saja, semakin besar organisasinya, semakin sulit menjaga keseimbangan seperti ini
    • Setelah akun dibajak, pemulihan juga gagal
      Akun Facebook ayah saya kemungkinan diretas lewat phishing, tetapi tidak ada satu pun orang yang bisa dihubungi untuk mendapatkannya kembali
      Sampah masyarakat yang mencuri akun itu bahkan mengunggah konten ilegal, sehingga akun tersebut beserta sekitar 10 tahun kenangan pribadi dihapus tanpa prosedur pemulihan apa pun, dan mustahil berbicara dengan manusia sungguhan di Meta
      Yang ada hanya halaman FAQ yang luar biasa tidak membantu
      Saya sangat menyarankan untuk mengunduh dan mencadangkan data pribadi dari semua akun media sosial Anda dan keluarga
      Perusahaan-perusahaan besar seperti ini tidak peduli pada pengguna selain untuk menayangkan iklan barang rongsokan kirim langsung dari Tiongkok dan TikTok sampah AI
    • Kalau akun sudah memakai email dan nomor yang sama selama lebih dari 14 tahun tetapi tim dukungan tetap menilai itu sebagai akun yang diretas, rasanya justru itu yang lebih memalukan
  • Jadi agen AI punya akses istimewa yang memungkinkannya menghapus autentikasi dua faktor, mengabaikan email akun, dan bahkan menyerahkan akun kepada peminta
    Jujur saja, ini kelalaian yang begitu parah sampai-sampai membuat saya curiga apakah tim yang mengimplementasikan “fitur” itu sedang berusaha menimbulkan kerusakan halus sebesar mungkin pada Meta sebelum terkena PHK yang sudah dijadwalkan
    Sampai rasanya sayang tidak ada yang mencoba menghapus seluruh tabel produksi
    Tinggal berpura-pura menjadi SRE berhak istimewa tinggi, mengklaim harus memperbaiki bug operasional fatal, dan bahwa satu-satunya solusi adalah menghapus database

  • Saya termasuk 6.000 pengguna awal Instagram, dan username saya yang benar-benar berupa nama saya dicuri beberapa tahun lalu
    Tim dukungan akun terverifikasi mengakui masalahnya, tetapi mengatakan mereka tidak bisa berbuat apa-apa
    Kali ini penyalahgunaannya melibatkan AI, tetapi dalam kasus saya yang disalahgunakan adalah dukungan alih daya, dan seseorang membayar agar username saya diubah secara manual lalu diserahkan ke pengguna lain
    Selama tidak ada dukungan manusia yang bertanggung jawab dan tidak ada konsekuensi pidana bagi karyawan yang melanggar ini, akan selalu ada cara untuk mengakses akun

    • Baru-baru ini akun Threads saya ditangguhkan karena dianggap terlalu cepat memberi like pada lima postingan, dan akun itu disebut tidak autentik
      Akun Instagram yang terhubung baik-baik saja, tetapi ketika saya mencoba memakai dukungan Meta Verified, semua permintaan ditolak dengan alasan kuota dukungan saya sudah habis
    • Pernah ada rapper yang menawari $10.000 untuk username Instagram saya
      Saya bertahan sampai bank datang untuk membelinya
    • Apakah ini bisa digugat? Sepertinya ada motif finansial dalam kejahatan ini
    • Jika suatu hari ada karyawan yang didakwa pidana karena “mencuri” username, hari itulah hari ketika umat manusia benar-benar kalah
  • Tidak masuk akal bahwa AI diberi izin alat untuk mengirim email ke alamat sembarang
    Mengirim kode autentikasi dua faktor sesuai permintaan pengguna masih bisa dimengerti, tetapi seharusnya AI hanya bisa menekan tombol untuk mengirim email autentikasi dua faktor ke alamat yang terhubung ke akun, dan sisanya harus ditangani oleh kode yang ditulis manual
    Tidak ada alasan bagi AI untuk bisa mengakses kode autentikasi dua faktor itu sendiri, judul pesan, isi, alamat penerima, dan sebagainya
    Saya benar-benar tidak paham kenapa izin seperti itu diberikan

    • Penyalahgunaan ini pada dasarnya hampir tidak ada hubungannya dengan AI, melainkan lebih terkait dengan alur pemulihan akun yang dirancang dengan buruk
      Alur yang sama bisa saja dibuat dengan kode statis, dan mungkin memang begitu
      Saya tidak tahu seberapa besar peran chatbot di sini
    • Saya banyak melakukan riset bug bounty terhadap Meta dan Instagram, dan di antara bug yang saya temukan ada kasus yang tampak sangat sederhana seperti ini di permukaan, tetapi penyebab nyatanya agak lebih rumit
      Saya tidak bilang kasus ini pasti begitu, tetapi saya punya dugaan tentang apa yang sebenarnya terjadi
      Dari yang saya lihat sejauh ini, tampaknya Meta AI Support Assistant, yaitu “MAISA”, memiliki a) pemanggilan alat untuk memulai verifikasi email ke kontak yang terhubung ke email, nomor telepon, atau akun tertentu dan b) pemanggilan alat untuk membuat tautan reset kata sandi akun berdasarkan percobaan verifikasi email
      Saya tidak punya akses ke kode aslinya, tetapi saya menduga handle atau ID dari percobaan verifikasi email dan kode verifikasi yang dimasukkan pengguna diteruskan ke pemanggilan alat “buat tautan reset kata sandi”, dan pemanggilan alat itu gagal memverifikasi dengan benar apakah email yang dipakai dalam percobaan verifikasi itu memang milik akun tersebut, sehingga memungkinkan pengambilalihan akun
      Pemanggilan alat MAISA yang membuat tautan reset kata sandi seharusnya gagal jika menerima percobaan verifikasi yang berkaitan dengan email yang tidak terhubung ke akun
      Saat saya menguji hal serupa di Facebook, tampaknya memang diblokir dengan error, tetapi mungkin di sisi Instagram ada perubahan agar penyerang bisa memulihkan akun yang diretas dengan menggunakan email lama yang baru-baru ini dilepas dari akun
      Dengan begitu, email yang saat ini tidak terhubung ke akun pun bisa dipakai dan perlu ditetapkan sebagai email utama pengguna
      Bisa juga ada perubahan pada pemanggilan alat MAISA yang memanggil API yang salah, atau ada sesuatu yang membuat percobaan verifikasi email apa pun yang berhasil bisa dipakai, sementara para engineer tidak cukup menambahkan pengujian end-to-end yang memasukkan percobaan verifikasi email yang tidak terkait ke dalam pemanggilan alat
      Menurut saya di sinilah fokus utamanya harus diarahkan
      Pemanggilan alat agen yang output-nya bisa dipengaruhi penyerang harus diperlakukan seperti API eksternal yang bisa diakses siapa pun, dan diuji dengan cara itu
      Tentu saja ini semua hanya dugaan, belum mencerminkan berbagai sinyal yang dipakai untuk menilai validitas percobaan pemulihan akun, dan bisa saja cukup meleset, tetapi sebagai orang yang banyak menangani keamanan Meta, ini penjelasan paling masuk akal yang saya lihat untuk apa yang kemungkinan memungkinkan kejadian ini
    • Ini sangat berbau vibe coding
      Rasanya seperti ada yang bilang, “biarkan agen AI membantu reset kata sandi,” lalu tidak ada sama sekali tinjauan manusia terhadap perubahan itu
    • Ini memang buruk, tetapi AI tidak benar-benar diperlukan agar cara seperti ini berhasil
      Beberapa tahun lalu akun Facebook saya juga pernah dibobol setelah autentikasi dua faktor berbasis TOTP dinonaktifkan
      Sejak saat itu saya sama sekali tidak merasa tenang terhadap kebijakan keamanan Facebook, dan serangan baru ini menegaskan kembali kesan tersebut
    • Sepertinya ada engineer junior yang muak menangani permintaan dukungan bodoh lalu mengotomatiskannya dengan agen
      Menugaskan engineer junior ke dukungan keamanan itu konyol
      Salah satunya karena orang muda kadang belum memahami betapa fatalnya keamanan, dan juga karena mereka tidak terlalu menempatkan privasi sebagai prioritas
  • Dikatakan ini adalah “reset kata sandi tanpa autentikasi pertama yang benar-benar saya lihat di lingkungan produksi”, tetapi LinkedIn dulu juga pernah punya yang seperti itu
    Saya tidak mendapat tanggapan yang layak, mungkin karena itu sebelum ada imbalan penemuan, tetapi pada akhirnya mereka tetap memperbaikinya
    Caranya seperti ini
    LinkedIn menganggap bahwa jika Anda bisa membaca email yang dikirim ke suatu alamat, maka alamat itu milik Anda dan boleh ditambahkan ke akun
    Jadi jika saya mengirim undangan LinkedIn ke suatu alamat email, lalu orang itu menekan tombol terima undangan, alamat email itu akan ditambahkan ke akun mereka
    Jika saya mengirim undangan ke alamat yang saya kendalikan, misalnya foo@example.com, lalu mengirim tautan tombol undangan dalam email palsu ke orang lain, begitu orang itu mengkliknya, foo@example.com akan diam-diam ditambahkan ke akun mereka
    Setelah saya menerima respons bahwa kami sudah berteman, saya juga tahu bahwa alamat email yang saya ketahui sudah ditambahkan ke akun pengguna itu, dan saya bisa melakukan reset kata sandi penuh menggunakan foo@example.com yang saya kirimi email pertama tadi
    Ini ditemukan ketika seseorang mengundang seluruh mailing list, lalu setelah orang-orang mengklik, alamat mailing list itu tiba-tiba ditambahkan ke akun banyak orang

    • Saya ingat LinkedIn dulu suka membongkar buku alamat atau apa pun yang bisa ditemukan lalu mengirim email ke seluruh buku alamat
  • “Jika permintaan terlihat seperti berasal dari wilayah yang benar, mereka akan memberi tahu AI dukungan Meta bahwa akun telah diretas dan memintanya mengirim kode verifikasi ke alamat email sewenang-wenang yang dikendalikan penyerang” — sebenarnya Instagram ini sedang ngapain?
    Tidak masuk akal kenapa reset-nya tidak dikirim ke akun terkait, melainkan ke email sewenang-wenang

    • Penyerang mungkin juga mengklaim emailnya telah diretas dan berkata, “ini sekarang email baru saya”
      Kedengarannya seperti hasil dari dukungan AI, bukan manusia, dan situasinya adalah, “kalau akunmu termasuk akun A/B test dengan opsi dukungan AI diaktifkan, ya sial, dan itu juga tidak bisa dimatikan”
  • Aku sempat bertanya-tanya kenapa selama akhir pekan menerima sampai 15 email reset kata sandi dari Instagram
    Gara-gara itu aku jadi ingat bahwa aku punya akun Instagram, dan langsung mencoba masuk untuk menghapusnya
    Akun itu dibuat saat Instagram baru pertama kali muncul, tidak pernah kupakai sekali pun, dan sudah benar-benar kulupakan
    Tapi aku malah kena situasi aneh yang mengharuskan login dari perangkat yang pernah dipakai sebelumnya, dan karena sudah lebih dari 10 tahun berlalu, perangkat yang mungkin kupakai untuk membuat atau mengakses akun itu sudah tidak ada lagi
    Aku masih bisa mengakses email dan nomor telepon yang dipakai untuk akun itu, tapi ternyata itu tetap tidak cukup
    Saking lucunya tingkat ketidakmampuannya, aku sampai mengajukan keluhan CCPA

    • Aku juga terkunci dari beberapa akun Gmail lama dengan cara yang mirip
      Akun-akun itu dibuat tanpa nomor telepon dan aku juga tahu kata sandinya, tetapi saat mencoba login ditandai sebagai aktivitas mencurigakan dan tidak ada alur pemulihan yang benar-benar bisa dijalankan
    • Daripada menghapus akun sebagai bentuk protes karena membenci perusahaan itu, justru menyerahkannya ke operator spam akan memberi pukulan yang lebih besar bagi perusahaan
  • Banyak penyalahgunaan terlihat begitu bodoh sampai-sampai selalu terasa agak membuka mata bahwa, kalau aku, mungkin aku bahkan tidak akan terpikir untuk mencobanya
    Jadi cukup dengan meminta kata sandinya, lalu itu benar-benar berhasil?

  • Implikasi dari kejadian ini cukup mengkhawatirkan
    Apakah Meta memberikan agen akses baca-tulis istimewa ke akun pengguna tanpa peninjauan manusia?

    • Rupanya begitu, dan inilah tepatnya hal yang diinginkan para pendukung AI agar kita lakukan
    • Bukan cuma tanpa peninjauan manusia, tampaknya juga tanpa verifikasi yang paling dasar
      Gila sih
    • Kedengarannya ini bukan agen LLM yang memakai hak tulis sewenang-wenang, melainkan alur pemulihan akun yang sudah didefinisikan sebelumnya
    • Kalau manusia terus dipertahankan di dalam loop, mereka tidak bisa di-PHK
  • Salah satu kredensial akun Facebook cadanganku entah bagaimana sudah digabungkan dengan akun cadangan lain yang dulu pernah kupakai
    Artinya, email dari satu akun bisa dipakai untuk login ke akun lain, dan penggabungan ini tampaknya terus bertahan
    Sepertinya Meta memutuskan bahwa kedua akun itu adalah orang yang sama dengan suatu cara