Bagaimana McKinsey diretas melalui platform AI-nya

 (codewall.ai)
2 poin oleh GN⁺ 2026-03-12 | 1 komentar | Bagikan ke WhatsApp
  • Di platform AI internal McKinsey, ‘Lilli’, kerentanan yang dapat diakses tanpa autentikasi memungkinkan perolehan hak baca-tulis ke seluruh basis data
  • Serangan dilakukan oleh agen keamanan otonom; dari sekitar 200 endpoint dalam dokumentasi API publik, 22 dapat diakses tanpa autentikasi, dan penetrasi terjadi melalui SQL injection pada salah satunya
  • Basis data tersebut berisi informasi internal sensitif seperti 46,5 juta pesan chat, 728 ribu file, dan 57 ribu akun pengguna
  • Agen tersebut juga mengungkap keseluruhan struktur operasional AI McKinsey, termasuk konfigurasi model AI, system prompt, potongan dokumen RAG, dan aliran data API eksternal
  • Insiden ini menunjukkan bahwa prompt layer muncul sebagai titik kerentanan keamanan baru, dan perlindungan integritas instruksi pada sistem AI menjadi tantangan utama

Gambaran umum platform Lilli

  • McKinsey membangun platform AI internal Lilli pada 2023 untuk lebih dari 43.000 karyawan
    • Menyediakan chat, analisis dokumen, pencarian berbasis RAG, dan pencarian di lebih dari 100 ribu dokumen internal
    • Memproses lebih dari 500 ribu prompt per bulan, dan digunakan oleh lebih dari 70% karyawan
  • Nama platform diambil dari nama pegawai profesional perempuan pertama perusahaan pada 1945

Proses penetrasi

  • Agen serangan otonom menelusuri dokumentasi API publik dan memastikan bahwa 22 dari sekitar 200 endpoint dapat diakses tanpa autentikasi
  • Salah satu endpoint tersebut mencatat kueri pencarian pengguna ke basis data, dan karena key JSON langsung digabungkan ke pernyataan SQL, terjadilah SQL injection
    • Ini adalah kerentanan yang tidak terdeteksi oleh alat konvensional seperti OWASP ZAP
  • Agen melakukan 15 permintaan berulang untuk memahami struktur kueri, lalu mengekstrak data produksi yang sebenarnya
    • Saat identifier karyawan pertama terungkap, tercatat reaksi “WOW!”, dan saat kebocoran data skala besar terkonfirmasi, tercatat reaksi “This is devastating.”

Data yang terekspos

  • 46,5 juta pesan chat: percakapan sensitif tentang strategi, proyek klien, keuangan, M&A, riset internal, dan lainnya disimpan dalam teks polos
  • 728 ribu file: termasuk 192 ribu PDF, 93 ribu Excel, 93 ribu PowerPoint, dan 58 ribu Word
    • Nama file saja sudah sensitif, dan ada URL yang memungkinkan unduhan langsung
  • Struktur 57 ribu akun pengguna, 384 ribu AI assistant, dan 94 ribu workspace turut terekspos

Paparan tambahan di luar basis data

  • Terekspos 95 system prompt dan konfigurasi model AI, serta informasi konfigurasi dari 12 jenis model
    • Termasuk instruksi perilaku AI, guardrail, model fine-tuning, dan detail deployment
  • 3,68 juta potongan dokumen RAG, path S3, dan metadata internal terekspos
    • Termasuk riset dan metodologi eksklusif McKinsey yang dikumpulkan selama puluhan tahun
  • Aliran data melalui API AI eksternal: 1,1 juta file, 217 ribu pesan agen, dan lebih dari 266 ribu vector store OpenAI terekspos
  • Dengan menggabungkan kerentanan IDOR, riwayat pencarian tiap karyawan juga dapat diakses

Risiko pada prompt layer

  • SQL injection tersebut juga mencakup hak tulis
    • System prompt milik Lilli disimpan di basis data yang sama, sehingga penyerang dapat memodifikasinya
    • Hanya dengan satu permintaan HTTP, instruksi perilaku AI dapat diubah
  • Dampak potensial
    • Saran yang dimanipulasi: risiko model keuangan atau rekomendasi strategi diubah
    • Kebocoran data: informasi internal dapat disisipkan ke respons AI lalu terekspos ke luar
    • Penghapusan guardrail: kontrol akses dapat diabaikan dan data internal bisa terbuka
    • Persistensi diam-diam: hanya perilaku AI yang diubah tanpa log atau perubahan kode
  • Prompt adalah aset bernilai tinggi yang pengelolaan keamanannya lebih lemah dibanding kode atau server, dengan kontrol akses, versioning, dan verifikasi integritas yang hampir tidak ada
  • Ditarik kesimpulan bahwa “AI prompt adalah Crown Jewel baru”

Makna insiden ini

  • Meski McKinsey adalah perusahaan dengan kapabilitas teknologi global dan investasi keamanan besar, SQL injection klasik tetap ada di sistem yang telah beroperasi selama 2 tahun
  • Agen otonom secara berantai menelusuri dan memperluas kerentanan yang tidak terdeteksi oleh scanner berbasis checklist
  • CodeWall adalah platform keamanan otonom yang melakukan serangan tersebut, dan menyediakan pengujian keamanan berbasis AI untuk terus memeriksa attack surface nyata

Jadwal pengungkapan

  • 2026-02-28: agen otonom menemukan SQL injection dan mulai melakukan enumerasi basis data
  • 2026-02-28: seluruh rantai serangan terverifikasi, 27 kerentanan didokumentasikan
  • 2026-03-01: ringkasan dampak dilaporkan ke tim keamanan McKinsey
  • 2026-03-02: CISO McKinsey mengonfirmasi penerimaan dan meminta bukti detail
  • 2026-03-02: McKinsey menambal semua endpoint tanpa autentikasi, memindahkan environment pengembangan ke offline, dan memblokir dokumentasi API publik
  • 2026-03-09: pengumuman publik

Bacaan terkait

1 komentar

 
GN⁺ 2026-03-12
Komentar Hacker News

  • Saya sedikit tahu situasi internalnya, dan Lilli sampai sekitar setahun lalu masih merupakan sistem khusus internal
    VPN, SSO, dan semua prosedur keamanan wajib diperlukan, tetapi saya tidak tahu kapan persisnya berubah menjadi publik
    McKinsey bahkan harus menyewa vendor uji penetrasi eksternal untuk pengujian internal berskala kecil
    Dari sudut pandang pengembang Lilli, kesalahan seperti ini masih bisa dimengerti. Agar endpoint yang bisa diakses dari luar terekspos, beberapa lapisan keamanan harus gagal secara bersamaan
    Tetapi kali ini tingkat kelalaiannya nyaris setara dengan tidak ada autentikasi sama sekali
    Kemungkinan besar ada partner senior yang menggunakan pengaruhnya untuk mengubah Lilli menjadi publik
    Pada saat itu, sebagian besar tim aslinya sudah dipindahkan ke proyek lain, dan karena proyek internal dirugikan dalam evaluasi, orang-orang yang tersisa tidak punya motivasi
    Pada akhirnya ini adalah kegagalan budaya teknologi di McKinsey

    • Struktur McKinsey anehnya rumit. Semua orang dinilai berdasarkan ‘client impact’, jadi jadinya semacam sistem bertahan sendiri-sendiri
      Pengembang bekerja tanpa arah yang jelas, lalu ketika partner melempar ide, mereka berlari mengerjakannya demi dinilai dari situ
      Namun sebelum proyek selesai, partner itu sudah pindah ke urusan lain, dan orang yang tertinggal tidak punya alasan untuk menuntaskannya
      Akibatnya, sebagian besar produk dibuat seperti kumpulan ide spontan dari pimpinan
      Kalau software diperlakukan seperti konsultasi enam bulanan, ya wajar berantakan
      Pemecatan besar-besaran insinyur yang kompeten pada 2024 juga menunjukkan bagaimana mereka memandang teknologi
      Budaya seperti ini menular ke perusahaan lain, menyebarkan budaya berorientasi hasil jangka pendek seperti UI yang terus berubah
    • Kesimpulannya, jika McKinsey sendiri tidak bisa menangani teknologi dengan benar, maka mereka tidak seharusnya diberi tugas memberi nasihat soal adopsi AI atau desain organisasi teknologi
    • Mungkin alasan Lilli dibuat publik adalah karena chatbot rekrutmen
      Artikel terkait: McKinsey challenges graduates to use AI chatbot in recruitment overhaul (FT)
    • Saya penasaran apakah QuantumBlack juga dalam situasi yang sama. Di sana setidaknya aset platform Brix tampaknya masih cukup mutakhir
    • Saya tidak paham kenapa firma akuntansi atau konsultan manajemen ikut mengutak-atik teknologi
      Pada akhirnya tampaknya mereka hanya akan merawatnya sampai bisa dipaketkan dan dijual
      Solusi AI umurnya pendek dan perubahannya terlalu cepat. Kalau saya salah, saya ingin belajar

  • Kebocoran data memang masalah, tetapi yang lebih menakutkan adalah adanya hak tulis ke system prompt
    Dengan satu query UPDATE saja, logika jawaban untuk 43 ribu konsultan bisa diubah
    Bisa dimanipulasi diam-diam tanpa deployment, code review, atau log
    Dengan cara seperti ini, bahkan isi nasihat strategis bisa tercemar
    Sejujurnya, kebanyakan perusahaan memang menyimpan prompt begitu saja di tabel Postgres

  • Endpoint yang tidak dilindungi itu mencatat query pencarian pengguna ke DB; nilainya memang diparameterisasi, tetapi key JSON langsung disambungkan ke SQL
    Ini bukan prompt injection, melainkan SQL injection klasik

    • Agak mengecewakan karena ternyata cuma SQL injection biasa. Meski begitu, tetap menarik bahwa ini ditemukan oleh agen pemindaian kerentanan berbasis LLM
    • Saya penasaran ada berapa banyak kode yang ditulis LLM lalu masuk ke production sambil membawa kesalahan seperti ini
      Pada akhirnya ini tampaknya akan mendorong kenaikan permintaan peneliti keamanan
    • Saat men-deploy ke internet, menaruh oauth2-proxy di depan itu pengetahuan dasar, tetapi dari situ tidak bisa menghasilkan uang, sementara Anthropic menghasilkan miliaran — rasanya getir

  • Judul seperti “AI agent does X” agak mengganggu
    Kenyataannya, pentester menggunakan agen AI untuk memilih dan menguji McKinsey
    Akhir-akhir ini orang jadi keliru dan mengira sistem seperti ini benar-benar punya ‘kemampuan mengambil keputusan’, jadi penyebutannya perlu dibuat lebih jelas

    • Judul artikel asli “How We Hacked McKinsey's AI Platform” lebih akurat
    • Begitu menyebutnya “agentic systems”, itu sendiri sudah merupakan bentuk antropomorfisasi
    • Pada akhirnya itu cuma judul sensasional untuk mencari klik
    • Judulnya sudah dikembalikan ke versi asli (“AI Agent Hacks McKinsey” → kembali ke judul semula)

  • Ungkapan “McKinsey & Company — world-class technology teams” itu berlebihan
    Kenyataannya mereka tidak dinilai seperti itu

    • Karena kalimat itu ditulis oleh LLM, tampaknya pujian terhadap diri sendiri ikut terselip
    • McKinsey memang kuat dalam analisis sistem dan usulan perbaikan, tetapi implementasinya ditangani tim pengembang eksternal
      (berdasarkan pengalaman bekerja bersama McKinsey di bank investasi besar)
    • Tim teknologinya bukan kelas dunia. Sebaliknya, kemampuan konsultasi manajemennya memang kelas atas
    • Itu juga tergantung kliennya. Kalau proyeknya peningkatan nilai bagi klien, hasilnya biasa saja, tetapi kalau soal restrukturisasi atau urusan korupsi, ceritanya sangat berbeda

  • Saya tidak tahu Codewall AI itu siapa. Tidak ada pernyataan resmi bahwa McKinsey benar-benar melakukan patch
    Bahkan di hasil pencarian Google juga hampir tidak ada informasi

    • Saya juga tidak punya informasi, jadi menurut saya perlu ada bukti dari McKinsey atau tim keamanan
    • Menurut artikel The Register, tampaknya McKinsey memang mengakuinya
      Artikel terkait
      Sebagai catatan, CEO-nya adalah eth0izzle (GitHub)
    • Pihak Codewall sendiri menyatakan, “kami perusahaan baru, McKinsey tidak berkomentar di post kami, tetapi mereka menjawab ke The Register”
    • Jika data yang bocor mencakup 58 ribu pengguna, itu berarti mantan karyawan juga termasuk, sehingga bisa memicu kewajiban pemberitahuan hukum

  • Pelajaran dari insiden ini adalah bahwa agen AI dengan cepat mengungkap kelemahan sistem internal
    Tool enterprise lama dirancang dengan asumsi dipakai manusia, sehingga autentikasi, peninjauan, dan proses berperan sebagai garis pertahanan implisit
    Namun ketika agen otonom masuk, lapisan pelindung ini runtuh
    Ke depan akan dibutuhkan lapisan verifikasi otomatis — yang terus memeriksa kontrol akses, paparan data, dan perilaku yang tidak diinginkan

  • Tulisan ini adalah artikel yang ditulis LLM, dan sebagian informasinya tidak akurat
    Artinya, peninjauan manusianya tidak dilakukan dengan memadai, sehingga reliabilitas keseluruhan artikelnya rendah

  • “Ada lebih dari 200 dokumen API yang dipublikasikan, dan 22 di antaranya bisa diakses tanpa autentikasi”
    Satu kalimat ini menjelaskan semuanya

  • Saya ingat dulu tim McKinsey sangat mendorong Watson. Itu gagal total
    Sejak dulu mereka cuma penuh hype soal AI tanpa substansi nyata
    Saya tidak tahu soal bidang lain, tetapi kalau melihat orang McKinsey bicara soal AI, lebih baik lari