Setelah merekayasa balik alat AI hukum bernilai 1 miliar dolar, lebih dari 100 ribu file rahasia terekspos

 (alexschapiro.com)
2 poin oleh GN⁺ 2025-12-04 | 1 komentar | Bagikan ke WhatsApp
  • Platform AI hukum Filevine ditemukan memiliki kerentanan serius yang memberikan hak admin penuh tanpa autentikasi saat API-nya dianalisis
  • Peneliti menemukan subdomain margolis.filevine.com melalui subdomain enumeration, lalu mengidentifikasi endpoint API AWS dan mengirim permintaan uji
  • Permintaan POST sederhana mengembalikan respons tanpa token autentikasi, dan di dalamnya terdapat token admin yang memberi akses ke seluruh sistem file Box
  • Dengan token tersebut, sekitar 100 ribu dokumen “confidential” dapat dicari, termasuk data yang sangat sensitif seperti informasi medis, hukum, dan penggajian
  • Setelah menerima laporan, Filevine segera merespons dan memperbaiki masalah ini, dan kasus ini menunjukkan pentingnya manajemen keamanan dalam layanan hukum berbasis AI

Penemuan kerentanan dan jadwal pengungkapan

  • Peneliti melaporkan kerentanan tersebut ke tim keamanan Filevine melalui email pada 27 Oktober 2025
    • 4 November Filevine mengonfirmasi telah mengetahui masalah tersebut dan merencanakan perbaikan cepat
    • 20 November peneliti memverifikasi apakah patch sudah diterapkan dan menyampaikan niat untuk memublikasikan tulisan blog
    • 21 November Filevine mengonfirmasi perbaikan telah selesai dan menyampaikan terima kasih
    • 3 Desember tulisan blog teknis dipublikasikan
  • Filevine menunjukkan respons yang cepat dan profesional sepanjang proses, dan dinilai sebagai contoh praktik terbaik dalam pengungkapan keamanan yang bertanggung jawab

Latar belakang Filevine dan pasar AI hukum

  • Filevine adalah platform AI hukum yang dinilai bernilai lebih dari 1 miliar dolar dan sedang tumbuh pesat
  • Firma hukum mengunggah data yang sangat rahasia ke platform ini untuk menangani pekerjaan mereka
  • Berdasarkan pengalaman proyek dengan Yale Law School, peneliti kemudian meninjau struktur keamanan data Filevine
Iklan

Proses rekayasa balik

  • Karena adanya pembatasan akses di Filevine, peneliti menggunakan teknik subdomain enumeration untuk mencari lingkungan demo publik
  • Ia menemukan subdomain margolis.filevine.com, tetapi karena halamannya tidak dimuat, ia menganalisis permintaan jaringan dengan Chrome Developer Tools
  • Di dalam file JS, ia menemukan kode POST await fetch(${BOX_SERVICE}/recommend) dan memastikan bahwa variabel BOX_SERVICE ditetapkan ke endpoint API AWS
  • Saat mengirim permintaan berbentuk {"projectName":"Very sensitive Project"} ke /prod/recommend, respons dikembalikan tanpa autentikasi

Kebocoran token admin dan dampaknya

  • Respons tersebut berisi token hak admin penuh untuk Box API (boxToken)
  • Token ini memberikan hak akses ke seluruh sistem file Box internal milik firma hukum
    • Semua data dapat diakses, termasuk dokumen, log, dan informasi pengguna
  • Saat mencari dengan kata kunci “confidential”, terkonfirmasi bahwa sekitar 100 ribu hasil dikembalikan
  • Peneliti segera menghentikan pengujian dan melaporkan kerentanan tersebut ke Filevine
  • Jika penyerang jahat memanfaatkan token ini, dokumen yang dilindungi HIPAA, dokumen perintah pengadilan, materi penggajian internal, dan lainnya semuanya bisa bocor

Pelajaran keamanan

  • Di tengah persaingan adopsi AI, perusahaan wajib memperkuat sistem perlindungan data
  • Khususnya, layanan AI di industri dengan tingkat kerahasiaan tinggi seperti hukum dan medis harus mempertahankan prosedur verifikasi keamanan yang ketat
  • Kasus ini dengan jelas menunjukkan risiko yang dapat timbul dari kegagalan autentikasi dan manajemen otorisasi pada SaaS berbasis AI

Bacaan terkait

1 komentar

 
GN⁺ 2025-12-04
Komentar Hacker News

  • Selalu mengejutkan betapa lamanya waktu yang dibutuhkan untuk mengklasifikasikan dan memperbaiki celah keamanan yang sangat jelas seperti ini
    Diungkap pada 27 Oktober dan baru ada konfirmasi email pada 4 November, artinya selama itu seluruh sistem file klien berada dalam keadaan terekspos
    Perbaikan sebenarnya mungkin hanya patch yang selesai dalam waktu kurang dari 1 jam, dan bahkan jika termasuk pengujian QA, seharusnya tidak perlu selama itu
    Jadi saya penasaran apakah email security@ memang tidak dipantau siapa pun, atau orangnya sedang libur, atau spam-nya terlalu banyak sampai masalah yang benar-benar serius tidak terlihat

    • Menurut pengalaman saya, keterlambatan seperti ini biasanya terjadi karena struktur organisasi dan masalah manajemen proyek
      Tim keamanan menangani email security@, tetapi tim yang benar-benar harus memperbaiki bug adalah tim lain, jadi proses eskalasinya menjadi rumit
      Hanya untuk mencari tim pemilik kode saja bisa makan waktu berminggu-minggu, dan karena jadwal mereka sudah penuh, sulit menaikkan prioritasnya
      Belum lagi perlu persetujuan tim legal, jadi respons jadi makin lambat
      Perusahaan yang cerdas memberi tim keamanan wewenang untuk respons darurat, tetapi kalau itu disalahgunakan, kelelahan internal juga akan meningkat
    • Dalam kebanyakan kasus, masalahnya bukan “kotak masuk keamanan tidak dilihat”, melainkan satu orang yang paham bagian itu sedang menangani 12 hal lain sekaligus
      Patch keamanannya sendiri mungkin perbaikan 1 jam, tetapi karena persetujuan internal dan pencarian pemilik kode, jadinya makan 2 minggu
      Pada akhirnya, masalah sebenarnya adalah entropi organisasi
    • Akhir-akhir ini ada terlalu banyak laporan palsu di kotak masuk security@
      LLM juga bisa membuat laporan kerentanan yang terdengar meyakinkan, sehingga ahli bisa membuang waktu berjam-jam
      Karena itu beberapa perusahaan menerapkan kebijakan meninjau email hanya pada jam kerja
    • Memang spam-nya banyak, tetapi biasanya hanya beberapa email per hari, jadi itu bukan alasan kenapa kerentanan separah ini tidak langsung ditambal
      Kemungkinan besar, seperti yang dibilang, penanggung jawabnya sedang libur
    • Pusat respons global tempat saya bekerja punya 600 orang, dan ada 26.000 isu prioritas
      Makin kompleks sistemnya, masalahnya bukan berkurang tetapi justru bertambah
      Pada akhirnya kita bekerja dalam ilusi bahwa “kita bisa menanganinya”

  • Kalau perusahaan ini memang mendapat valuasi 1 miliar dolar, satu kerentanan dasar seperti ini saja bisa menyebabkan kerugian sebesar itu
    Kalau yang menemukannya orang jahat, dampaknya mungkin tidak akan bisa dipulihkan
    Seluruh data pelanggan bisa saja bocor, jadi penemunya seharusnya diberi imbalan

    • Betul. Kerentanan seperti ini bisa saja dijual ke grup ransomware seharga ratusan ribu dolar
      Setelah itu akan berlanjut ke kebocoran data, pemerasan, gugatan hukum, dan denda
      Inilah sebabnya ada peretas yang memilih pasar abu-abu alih-alih menjadi white hat
    • Mereka benar-benar seharusnya memberi imbalan besar

  • Saya bekerja di perusahaan keuangan, dan semua orang heran kenapa data pelanggan bisa dipercayakan ke SaaS X, tetapi dokumen pajak tidak boleh diunggah ke AI SaaS Y
    Menurut saya, industri AI sekarang seperti Wild West
    Perkembangannya terlalu cepat sehingga prosedur keamanan dilewati
    Kasus ini menunjukkannya dengan sangat jelas

    • FileVine memang alat AI untuk bidang hukum, tetapi masalah kali ini tidak ada hubungannya dengan AI itu sendiri
      Ini tampaknya hanya masalah integrasi Box API
    • Sebagai referensi, perusahaan ini didirikan pada 2014 dan baru belakangan menambahkan fitur LLM
      Tautan artikel Reuters
    • Kalau SaaS X menyediakan fitur IAM dan menerapkan kebijakan aksesnya sendiri, itu relatif lebih aman
      Sebaliknya, kalau SaaS Y hanya berkata “titipkan saja datanya, aman kok”, itu patut dicurigai
    • Tapi sejak awal kita juga perlu mempertanyakan kenapa SaaS X dipercaya
    • Yang menarik, kerentanan kali ini sama sekali tidak terkait AI dan bisa terjadi di perusahaan SaaS mana pun

  • Kasus ini adalah benturan antara “budaya startup yang menempelkan API secepat mungkin” dan “industri hukum/medis tempat kebocoran data bisa menghancurkan hidup seseorang”
    Masalahnya adalah pola bug setingkat era 2010-an, tetapi ditutupi bungkus pemasaran AI tahun 2025
    Saat dokumen dipusatkan untuk pelatihan model AI, cakupan kerusakan saat insiden juga menjadi jauh lebih besar
    Dari sisi penjualan, akses data harus dibuat mudah agar kontrak bisa didapat, sehingga prinsip least privilege didorong ke belakang
    Pada akhirnya para pengacara mengira mereka membeli “asisten AI”, padahal sebenarnya mereka sedang memberi akses eksternal ke seluruh memori institusi
    Pertanyaan yang sebenarnya adalah, “berapa banyak sistem seperti ini yang benar-benar bisa lolos pengujian red team?”

    • Agak lucu juga. Perusahaan mempertontonkan keamanan siber, sambil pada saat yang sama membuat lubang cacing LLM yang melewati semuanya
      Masalahnya adalah para eksekutif nonteknis tidak memahami AI dan hanya meneriakkan pemasaran
      Tapi saya cukup suka karena saya berhasil memakai analogi luar angkasa dua kali

  • Tim Filevine merespons secara profesional dan cepat sepanjang proses pengungkapan
    Mereka mengakui tingkat keparahan masalahnya, memperbaikinya, dan berkomunikasi dengan transparan
    Karena itu, menurut saya dalam kasus seperti ini nama perusahaannya tidak perlu diumumkan
    Kalau masalahnya sudah diselesaikan, tidak perlu sampai dipermalukan

    • Tapi dalam prosedur pengungkapan yang bertanggung jawab, menyebut nama perusahaan itu hal yang umum
      Dengan begitu industri bisa tahu perusahaan mana yang menanggapi laporan dengan serius
    • Pengungkapan yang etis berarti kedua pihak bersama-sama membuka detail teknisnya
      Itu akan menjadi contoh yang baik bagi peretas maupun perusahaan
    • Kalau kesalahannya disembunyikan, transparansi dan kepercayaan akan hilang
    • Kalau masalahnya separah ini, pelanggan harus tahu
      Penyedia AI SaaS lain juga bisa membaca tulisan ini dan menghindari kesalahan yang sama

  • Prosedur sertifikasi keamanan seperti SOC2 dan HIPAA terasa seperti semacam ‘teater keamanan’
    Hal-hal yang benar-benar penting diabaikan, sementara yang berlimpah justru screenshot formalitas dan pekerjaan dokumentasi

    • SemiAnalysis menilai sertifikasi semacam ini sepenting lisensi FAA, tetapi mereka sendiri justru diretas karena tidak adanya kontrol keamanan yang sederhana
      Tautan tulisan terkait
      Pada akhirnya ini bukan keamanan sungguhan, melainkan sekadar kotak centang yang bisa dibeli dengan uang

  • Perangkat lunak keamanan masih punya banyak ruang untuk perbaikan dari sisi kemudahan penggunaan dan kompleksitas
    Saat bekerja di Google dan Meta, sistem ACL begitu rumit sampai saya butuh 4 tahun untuk benar-benar memahaminya
    Sistem seperti itu mustahil dipakai perusahaan nonteknis
    Karena itu justru saya jadi ingin membuat startup yang menyederhanakan keamanan
    Ini terasa jauh lebih sulit daripada AI

  • Syukurlah perusahaan ini mengizinkan posting blog tersebut
    Dulu saya juga pernah menemukan kerentanan besar, tetapi perusahaannya melarang pengungkapan

    • “Memangnya perlu izin?” Tinggal lakukan saja pengungkapan yang bertanggung jawab
    • Kenapa kendali atas pengungkapan ada di tangan perusahaan? Kalau prosedur pelaporannya sudah diikuti, setelah itu seharusnya bebas menulis

  • Serangan kali ini sama sekali tidak canggih
    Filevine menulis di situs webnya bahwa mereka melakukan penetration test, jadi sulit dipercaya mereka bisa melewatkan hal seperti ini
    Sepertinya mereka mengira bug bounty itu sama dengan penetration test
    Benar-benar tidak ada alasan pembenaran

  • Akhir-akhir ini ada terlalu banyak startup “healthcare + AI”, jadi saya khawatir dalam beberapa bulan ke depan akan ada kebocoran data HIPAA berskala besar
    Contoh terkait juga bisa dilihat di thread ini