- AI frontier mengotomatisasi soal mudah dan menengah pada CTF (Capture The Flag) online publik, sehingga papan skor tidak lagi mencerminkan kemampuan keamanan manusia dengan rapi
- Masalahnya bukan sekadar bantuan AI, tetapi bahwa model kini telah mencapai tingkat di mana ia melakukan penalaran dan menulis kode solusi, menyisakan manusia hanya untuk menyalin flag
- Setelah Claude Opus 4.5 dan Claude Code, menjadi mudah untuk menjalankan agen per soal melalui API CTFd untuk menangani soal-soal awal, sehingga manusia bisa fokus pada soal yang sulit
- GPT-5.5 Pro bahkan dapat menyelesaikan tantangan HackTheBox tingkat Insane berupa active leakless heap pwn dalam sekali jalan, sehingga pihak yang mampu menanggung biaya token dan agen menjadi lebih diuntungkan
- Ketika papan skor publik juga mulai mengukur orkestrasi AI dan kemampuan membayar, tangga CTF tempat pemula membangun kemampuan lalu naik ke tim papan atas pun melemah
Papan skor CTF online publik telah berubah
- AI frontier telah merusak format CTF publik, sehingga papan skor tidak lagi dapat mengukur kemampuan keamanan manusia dengan rapi
- Intinya bukan AI sekadar memberi petunjuk, melainkan model melakukan penalaran dan menulis kode solusi, lalu hanya menyisakan manusia untuk menyalin flag
- Dulu CTF bukan sekadar kumpulan teka-teki, melainkan tangga tempat pemula membangun kemampuan dan naik ke tim serta kompetisi yang lebih tinggi
- Hasil CTF online publik kini mencerminkan bukan hanya kemampuan keamanan, tetapi juga kemauan menggunakan model frontier, kemampuan menyusun otomasi, dan kapasitas menyediakan token yang cukup
- Sulit melihat CTF online publik dalam format saat ini masih bisa melanjutkan peran lamanya, atau berpura-pura seolah tidak ada perubahan mendasar
Latar belakang perubahan
-
Pengalaman CTF dan rasa masalah
- Penulis mulai mengikuti CTF saat masuk universitas pada 2021, dan memenangkan kompetisi pertamanya, CTF solo 48 jam HCKSYD, dengan menuntaskan semuanya dalam 2 jam
- Setelah itu, bersama Blitzkrieg, penulis beberapa kali menjuarai DownUnderCTF, CTF terbesar di Australia, lalu kemudian bergabung dengan tim papan atas internasional TheHackersCrew
- TheHackersCrew secara konsisten mencatat peringkat tinggi di CTFTime, dan hingga akhir 2025 sering masuk 10 besar di CTF tingkat dunia
- CTF menjadi alasan penulis menyukai keamanan, sekaligus cara belajar, sarana mengukur diri, dan jalur untuk bertemu banyak orang yang dihormati
-
Perubahan pertama setelah GPT-4
- Sejak kemunculan GPT-4, banyak soal CTF tingkat menengah menjadi target one-shot, di mana cukup dengan satu prompt untuk memperoleh solusi dan flag
- Situasi seperti menempelkan soal kriptografi ke ChatGPT lalu kembali 10 menit kemudian untuk mendapatkan jawaban pun menjadi mungkin
- Saat itu, soal-soal sulit umumnya masih terdampak lebih kecil, dan waktu yang dihemat belum dianggap cukup besar untuk merusak kompetisi
- Pemain CTF memang sejak dulu menggunakan alat, jadi masalahnya bukan bantuan AI itu sendiri, melainkan apakah AI telah mencapai tingkat menghilangkan pekerjaan manusia yang bermakna
Perubahan format yang dipicu Claude Opus 4.5
- Setelah Claude Opus 4.5, hampir semua soal tingkat menengah dan sebagian soal sulit menjadi target yang bisa diselesaikan agen
- Claude Code mengikat semuanya ke CLI dan memudahkan koneksi dengan CLI lain serta alat MCP, sehingga memudahkan pembuatan orkestrator yang menjalankan instance Claude untuk tiap soal melalui API CTFd
- Kini dimungkinkan menggunakan sistem untuk menangani soal mudah dan menengah selama satu jam pertama kompetisi, lalu manusia hanya fokus pada soal yang tersisa
- Tim yang tidak memakai AI bukan sekadar melewatkan kenyamanan, tetapi pada dasarnya memainkan versi kompetisi yang lebih lambat
- CTF online publik berubah menjadi permainan tentang seberapa cepat seseorang dapat mengotomatisasi soal mudah dan menengah, serta seberapa banyak perhatian manusia yang bisa disisakan untuk soal paling sulit
- Papan skor mulai mengukur kemampuan keamanan bersama, dan kadang lebih besar lagi, kemampuan orkestrasi serta kemauan menggunakan model frontier
- Papan peringkat CTFTime mulai terasa aneh, dengan tim-tim legendaris yang konsisten di papan atas tampak lebih jarang terlihat, dan aktivitas pemain juga terlihat menurun
- Jika pembuat soal menghabiskan berminggu-minggu membuat soal yang cermat tetapi agen menyelesaikannya dalam hitungan menit, motivasi memperlakukan CTF sebagai bentuk seni juga menurun
Perubahan penentu setelah GPT-5.5
- GPT-5.5 dan GPT-5.5 Pro berdasarkan benchmark tampak mendekati Claude Mythos, atau dalam kasus Pro mungkin melampauinya
- Model-model ini dapat menyelesaikan soal HackTheBox active leakless heap pwn tingkat Insane secara one-shot
- Mereka mampu menyelesaikan porsi besar dari jenis soal yang secara realistis dapat dibuat penyelenggara CTF kecil, dan jika Pro diorkestrasi pada soal Insane dalam CTF 48 jam, ada peluang memperoleh flag sebelum kompetisi berakhir
- Akibatnya, CTF publik mulai memiliki sifat pay-to-win
- Semakin banyak token yang dimasukkan ke kompetisi, semakin cepat seseorang bisa menuruni papan skor
- Model keamanan siber khusus seperti alias1 dari Alias Robotics menjadi relatif kurang penting dibanding LLM frontier umum
- Persaingan bergeser menjadi soal siapa yang mampu menanggung biaya untuk menjalankan cukup banyak agen dengan konteks yang cukup selama waktu yang cukup
- Hasil CTF tidak lagi mendefinisikan kemampuan individu seperti dulu, dan nilai penggunaan hasil CTF untuk merekrut talenta keamanan juga melemah
- Sebagian besar orkestrasi yang dibutuhkan CTF sudah open source atau bisa dibuat dengan vibe coding, jadi ini juga bukan ukuran yang baik untuk menilai kemampuan AI
Jalur belajar pemula yang rusak
-
Papan skor dulunya adalah tangga belajar
- CTF adalah tangga tempat pemula memecahkan lebih banyak soal, meraih peringkat lebih tinggi, bergabung dengan tim yang lebih baik, dan meningkatkan daya saing
- Jika papan skor publik didominasi tim yang memakai AI, pemula akan tersisih oleh penggunaan AI bahkan sebelum sempat mengembangkan intuisi yang kemudian digantikan AI
- Ini adalah anti-pattern yang menghambat pembelajaran aktif, padahal bagian yang benar-benar mengajarkan sesuatu adalah perjuangan aktif dan benturan langsung dengan masalah
- Bahkan jika seseorang berusaha sungguh-sungguh, motivasi akan sangat turun bila bagian atas tangga sudah terotomatisasi sehingga pertumbuhan yang terlihat tidak muncul
-
Perbedaan antara CTF untuk pemula dan platform belajar
- Jika bahkan CTF pemula menjadi ruang tempat orang diam-diam menempelkan prompt lalu naik papan skor, maka bagi pembuat soal lebih masuk akal memusatkan tenaga pada platform pembelajaran
- Di platform seperti picoGym dan HackTheBox, ekspektasinya memang pendidikan, dan insentif bagi pemula untuk menipu diri sendiri lebih rendah dibanding papan skor publik
- Bagi pemula, belajar melalui picoGym, HackTheBox, dan lingkungan lab lain lebih baik daripada kompetisi dengan papan skor publik yang berpura-pura mencerminkan pertumbuhan manusia
Keterbatasan bantahan “CTF belum mati”
- Bantahan bahwa AI tidak bisa menyelesaikan semua soal dan bahwa CTF seperti DEF CON masih ada memang sebagian benar, tetapi tidak menjadi pembelaan inti
- Soal-soal tersulit di final tingkat tertinggi hanya diikuti sangat sedikit peserta, dan aksesnya biasanya dibatasi lewat kualifikasi yang lebih mudah daripada final
- Jika babak kualifikasi runtuh karena agen, maka semakin sedikit orang yang benar-benar layak akan mencapai soal yang masih tahan terhadap AI
- Segelintir final elite tidak bisa menyelamatkan format online publik yang benar-benar dimainkan kebanyakan orang
- Intinya bukan bahwa semua soal pasti terselesaikan, tetapi bahwa porsi papan skor yang cukup besar telah terotomatisasi sehingga maknanya tidak lagi sama seperti dulu
Riset keamanan dan CTF kompetitif itu berbeda
- CTF bisa menunjukkan teknik baru yang menarik, tetapi pada dasarnya bukan titik ditemukannya riset keamanan itu sendiri
- Fakta bahwa AI berguna di bidang keamanan tidak otomatis berarti ia harus dibiarkan masuk tanpa batas ke dalam struktur kompetitif bidang tersebut
- AI tanpa batas dalam CTF hampir menghapus manusia dari teka-teki dan mereduksi sisi artistik keamanan menjadi prompt
- LLM akan terus meningkatkan kapabilitas keamanan selama CTF masih ada, tetapi itu tidak berarti format kompetisinya sehat
- CTF dulu menjadi cara berbagi teknik dan mendorong batas kemampuan keamanan manusia, tetapi tujuan itu sedang terkelupas
Masalah analogi engine catur
- Catur telah lama didominasi komputer, tetapi engine catur tidak boleh digunakan selama pertandingan kompetitif
- Engine catur dipakai untuk analisis, latihan, komentar, dan praktik, memperkaya permainan di sekitar kompetisi tanpa menggantikan pesaing
- Jika semua pecatur diberi engine terbaik dan bebas menggunakannya selama pertandingan, muncul pertanyaan apakah itu adil, menyenangkan untuk ditonton, layak diberi hadiah, dan benar-benar mendorong batas manusia
- Pertanyaan yang sama berlaku untuk CTF
Mengapa penyelenggara sulit merespons
- Penyelenggara CTF telah mencoba teknik untuk merusak atau menekan penyelesaian oleh LLM, tetapi kebanyakan hanya menjadi gesekan sementara
- Claude Code tidak terguncang secara berarti oleh trik string penolakan lama
- Model frontier semakin baik dalam mengenali prompt injection
- Fitur pencarian web melemahkan pertahanan soal yang didasarkan pada teknik yang muncul setelah cutoff pelatihan
- Aturan yang melarang penggunaan LLM mudah diabaikan dalam acara online publik dan hampir tidak mungkin ditegakkan
- Jika membuat soal umum, agen akan menyelesaikan terlalu banyak; jika membuat soal yang memusuhi agen, soal itu juga cenderung menjadi tebakan, terlalu direkayasa, dan tidak menyenangkan bagi manusia
- Respons seperti ini bukan solusi nyata, melainkan arah yang membuat CTF lebih buruk bagi semua pihak
Celah dalam seruan “tinggal beradaptasi”
- Jika beradaptasi berarti membuat alat yang lebih baik, pemain CTF sebenarnya sudah lama melakukan itu
- Jika beradaptasi berarti menulis soal yang lebih sulit, penyelenggara juga sudah mencobanya
- Jika beradaptasi berarti menerima papan skor sebagai benchmark orkestrasi AI, maka seharusnya dikatakan secara jujur tanpa berpura-pura bahwa kompetisi lama masih ada
- Bahkan jika dibuat soal berbasis tebakan dan over-engineering yang belum bisa diselesaikan LLM saat ini, pemain tetap tidak punya jalur yang baik untuk mempelajari keterampilan yang dibutuhkan sambil tetap kompetitif
- Setelah beberapa model lagi muncul, bahkan titik itu bisa menjadi tidak berarti, dan laju perkembangan kapabilitas keamanan LLM membuat desain soal sulit terus unggul jauh di depan
Dampak pada lanskap CTF saat ini
- Papan peringkat CTFTime kini hampir tidak lagi mencerminkan sejarah atau kemampuan manusia, dan papan skor 2026 sudah berubah hingga sulit dikenali dibanding tahun-tahun sebelumnya
- Banyak tim besar dan bereputasi, termasuk TheHackersCrew, sama sekali tidak bermain, atau bermain dengan personel jauh lebih sedikit, atau kesulitan masuk 10 besar
- Kecurangan yang tidak diatur meningkat besar, dan beberapa CTF bagus seperti Plaid CTF tidak lagi diselenggarakan
- Banyak anggota tim lokal Emu Exploit merasakan hal serupa; mereka rutin mengikuti International Cybersecurity Championship, meraih hasil papan atas dalam program bug bounty, berkompetisi di Pwn2Own, dan berbicara di konferensi seperti Black Hat
- Orang-orang yang kehilangan minat bukanlah penonton, melainkan tipe orang yang dulu dibentuk dan dipertahankan oleh lanskap CTF
- Kerugiannya bukan hanya papan skor, tetapi tangga dari rasa ingin tahu pemula ke kompetisi elite, keterampilan kerajinan dalam desain soal, dan intuisi manusia yang memecahkan hal sulit melalui pemahaman mendalam
- CTF online publik saat ini sulit melanjutkan warisan itu, dan jika menolak mengakui perubahan mendasar, akan semakin sulit berbicara jujur tentang kehilangan tersebut
Apa yang perlu dipertahankan ke depan
- Banyak hal di sekitar CTF dan AI kini dikomersialkan dan berada di luar kendali, tetapi CTF telah memberi dampak yang sangat positif bagi industri
- Melalui CTF, penulis bertemu banyak orang yang baik, cerdas, dan bersemangat, serta mengalami soal-soal yang dibuat dengan indah dan solusi tak terduga yang menarik
- Komunitas CTF adalah ruang yang luar biasa untuk belajar, berkembang, dan terhubung, dan bagian ini tidak boleh hilang ke mana pun arah kompetisi bergerak
- Komunitas harus tetap bersama, menjaga gairah, dan membangun jalur baru untuk terus belajar
- Acara sosial yang berdekatan dengan dunia keamanan seperti SecTalks, konferensi mahasiswa, dan meetup lokal adalah cara yang baik untuk menjaga koneksi dan partisipasi
- Platform belajar yang menyediakan komunitas seperti Discord juga merupakan sumber daya yang bernilai
- Walau sulit mencari pengganti yang setara dengan masa lalu, komunitas yang terbentuk di sekitar CTF justru kini menjadi semakin penting untuk menemukan cara baru menghidupkan semangat kompetitif
1 komentar
Komentar Hacker News
Rasanya sampai ingin memohon agar singkatan dituliskan lengkap setidaknya saat pertama kali dipakai. Walaupun 90% pembaca mungkin sudah tahu, 10% sisanya akan berterima kasih, usahanya nyaris nol, dan jangkauan tulisan maupun idenya juga jadi lebih luas
Pengecualiannya adalah ketika singkatan itu sendiri jauh lebih terkenal, sehingga banyak orang paham konsepnya tetapi tidak tahu kepanjangannya. Dulu saat pelatihan di kantor saya sempat mendengar istilah “Border Gateway Protocol”, berpikir sejenak, lalu sadar “oh, maksudnya BGP?”
Secara lebih umum, tidak semua tulisan ditujukan untuk semua pembaca. Kalau menulis blog CTF untuk orang-orang yang memang suka CTF, tidak perlu menjelaskan CTF kepada target pembacanya. Pada akhirnya HN memang situs kumpulan tautan, tetapi kadang rasanya seperti menguping percakapan orang lain, jadi kita tidak selalu mendapatkan konteks lengkap
Secara pribadi saya belum pernah sekalipun mendengar konsep itu disebut dengan inisial ini. Di sekitar saya memang hampir tidak pernah jadi topik pembicaraan, jadi ya begitu saja
Kalau ‘CTF’ diganti dengan ‘SMA’ atau ‘universitas’, ini jadi penjelasan bahwa pendidikan sedang mengalami keruntuhan lambat. Satu-satunya penyelamat, untungnya, adalah kebanyakan masih mewajibkan kehadiran tatap muka
Sepertinya kita sudah menemukan pipeline untuk menggantikan manusia, tetapi untuk pendidikan kita belum menemukannya. LLM bisa menjadi guru yang hebat, tetapi hampir mustahil menahan godaan untuk menyuruhnya “kerjakan saja buat saya”
Solusi sederhananya adalah mengeluarkan sebagian besar komputasi dari pendidikan sepenuhnya. Composition book biru, pensil, dan papan tulis itulah yang melatih manusia. Kalkulator bisa membantu, tetapi mungkin sempoa malah lebih baik. Untuk melawan informasi daur ulang yang dihasilkan AI, kita butuh manusia yang mampu berpikir kritis dari prinsip pertama
Ada pengembang dengan pengalaman 3 tahun dan gelar software yang tanpa AI bahkan tidak bisa menulis fizzbuzz
Hype seputar AI secara umum melelahkan. Di satu sisi orang bicara seolah era baru umat manusia telah dimulai dan kita sebentar lagi akan menguasai seluruh alam semesta, sementara di sisi lain orang bilang seluruh masyarakat sedang runtuh
Dalam pendidikan khususnya, semua orang tampak angkat tangan dan bilang tidak ada yang bisa dilakukan. Solusinya sederhana. Penilaian siswa dilakukan lewat pelaksanaan tatap muka. Itu saja. Selebihnya, “keruntuhan pendidikan” bukan disebabkan AI melainkan faktor lain
Tentu saja CS Brown University tidak mewakili seluruh dunia pendidikan, tetapi tetap sudut pandang yang menarik
[0] Episode webpage: https://share.transistor.fm/s/31855e83
Saya setuju dengan premis tulisan ini, tetapi ada hal seperti ini yang terus mengganggu saya
Dia bilang “Masalahnya tidak pernah terletak pada bahwa AI bisa membantu”, lalu tiga kalimat berikutnya justru menulis bahwa masalah sebenarnya adalah bantuan AI
“Tim yang tidak memakai AI bukan cuma kehilangan kenyamanan, tetapi sedang bertanding dalam versi kompetisi yang lebih lambat.”
“CTF bukan sekadar kumpulan puzzle. Itu adalah tangga.”
“Klaimnya bukan bahwa semua challenge telah diselesaikan. Klaimnya…”
“Yang hilang bukan cuma papan skor. Itu adalah tangga menuju …”
Maaf, tetapi saya terus melihat hal seperti ini. Apa cuma saya?
Belakangan ini saya sedang membuat alat obfuscation, lalu saya menyuruh model untuk deobfuscate kode dan mengoptimalkannya kembali ke bentuk semula, kemudian terus memperbaiki alat obfuscation itu sampai model tidak bisa lagi melakukannya. Lucunya, setelah melalui proses ini saya juga jadi punya alat deobfuscation dan optimasi yang mungkin lebih kuat daripada kebanyakan alat komersial
Solusinya cuma membuat CTF lebih sulit, tetapi sejak kapan CTF menjadi terlalu sulit? Mungkin CTF yang ‘sulit’ pun pada dasarnya terlalu ‘sederhana’, sehingga pada akhirnya bermuara pada rantai logika dan brute force menuju jawaban. Soalnya cara menyembunyikan solusi di depan mata juga terbatas
Atau mungkin kreativitas manusia memang sudah mulai habis, dan tidak sebegitu tak terbatas seperti yang kita bayangkan. Waktu yang akan menjawab
Saya juga kepikiran ide lain. Sembunyikan dua flag, tetapi buat satu di antaranya hanya bisa ditemukan oleh agen AI dan tidak bisa ditemukan oleh manusia atau alat buatan manusia
Sudah dipublikasikan di mana pun? Contoh output alat obfuscation JS saya ada di sini: https://gist.github.com/Trung0246/c8f30f1b3bb6a9f57b0d9be94d...
Saya paham nuansa tulisan ini. Bagi saya AI sudah merusak pengalaman bermain CTF maupun membuat challenge CTF
Yang paling menyebalkan adalah sikap “nggak tahu sih, tapi ini flagnya ada”
Dulu saat main CTF dengan teman-teman, kami bisa berkutat berjam-jam pada satu challenge lalu teman lain datang, ikut melihat, dan kami menyelesaikannya dalam 30 menit, dan itu jadi pengalaman belajar paling memuaskan. Sekarang teman datang, melemparkannya ke clanker, dan 5 menit kemudian selesai. Kalau ditanya bagaimana cara kerjanya, jawabannya selalu “nggak tahu dia ngapain, tapi siapa peduli? Flagnya kan ada di sini”
Saat membuat challenge pun sama. Kalau saya minta writeup atau tanya apakah ada orang yang menyelesaikannya dengan cara berbeda, biasanya jawabannya “nggak tahu, clanker yang nyelesaiin”, jadi kesenangannya hilang
Karena itu menurut saya format CTF ini memang sudah mati. Alasan utamanya adalah sifat kompetitif yang sangat kuat dan adanya hadiah uang. Struktur ini mendorong orang menyelesaikan challenge dengan akal-akalan, dan dulu cara-cara nyeleneh itu masih terasa sebagai momen kreativitas yang menarik. Tetapi sekarang, karena AI, otak, akal-akalan, bahkan manusia pun tidak diperlukan. Seperti yang dikatakan, ini menjadi struktur bayar untuk menang
Menurut saya CTF 24/7 akan mendapat lebih banyak perhatian. Di sana papan skor tidak terlalu penting dan tidak ada hadiah uang
Sedikit meta, tetapi tulisan ini awalnya dikirim dengan judul “The CTF scene is dead” dan sangat mudah dipahami. Namun barusan diubah menjadi kalimat pertama subjudul, “Frontier AI has broken the open CTF format”, dan sekarang jauh lebih sulit dipahami. Rasanya seperti garden-path sentence
Awalnya saya kira “Frontier” adalah nama perusahaan dan CTF itu sebuah format file. Kalau tidak tahu kompetisi Capture The Flag, perubahan ini tidak membantu. Kalau tahu pun, menurut saya malah jadi lebih buruk
Aturan dasarnya adalah setiap singkatan harus didefinisikan saat pertama kali dipakai
Hal seperti ini juga terjadi pada bentuk lain dari competitive programming. AI modern punya kemampuan pemecahan masalah yang setara dengan manusia tingkat atas, dan jika AI tidak bisa dilarang dengan mudah, kompetisi pada akhirnya akan dikuasai agen AI
Saya dulu mengira code golf akan butuh waktu lebih lama karena data latihnya terlalu sedikit. Bidangnya lebih niche, soalnya. Tapi bahkan di sana AI mulai menyamai manusia ahli. Golf adalah jenis puzzle pemrograman favorit saya, jadi ini menyedihkan
Sungguh mengejutkan seberapa jauh kemampuan pemecahan masalah AI sudah berkembang
https://en.wikipedia.org/wiki/Capture_the_flag_(cybersecurit...
Belum ada penyebutan AI di sana, tetapi kemungkinan besar akan segera berubah jika AI makin mendominasi kompetisi
Ini bukan cuma soal CTF. Saya sangat yakin bahwa dalam game jam seperti Ludum Dare atau hackathon, peran programmer pada dasarnya sudah berakhir
Dunia competitive programming memang selalu punya kompetisi offline, dan setelah AI pentingnya jadi makin besar. Bahkan sebelumnya pun itu umumnya lebih adil. Kalau CTF ingin bertahan, sepertinya harus mengadopsi strategi ini
Bahkan lebih jauh lagi, bisa saja diterapkan aturan bahwa apa pun yang sudah ada di dalam komputer boleh dipakai, tetapi di luar itu tidak boleh. Misalnya beberapa kompetisi competitive programming mengizinkan materi kertas tanpa batas. Di CTF tentu akan dibutuhkan jauh lebih banyak dari itu, jadi materi elektronik akan diperlukan