Bencana keamanan pada aplikasi manajemen pasien yang dibuat dengan vibe coding

• Seorang staf institusi medis membuat sendiri sistem manajemen pasien dengan AI coding agent, sehingga data pasien terpapar di internet tanpa enkripsi
• Rekaman percakapan konsultasi dikirim ke dua layanan AI untuk diringkas secara otomatis, dan seluruh data terbuka dengan izin baca-tulis
• Data disimpan di server AS dan dioperasikan tanpa perjanjian pemrosesan data (DPA), serta pasien tidak diberi pemberitahuan sebelumnya
• Tindakan ini berpotensi melanggar undang-undang perlindungan data nDSG Swiss dan kewajiban menjaga kerahasiaan profesional
• Penulis memperingatkan bahwa “jika AI coding berhenti pada level vibe semata, itu akan menuju masa depan yang tidak aman”

---

Bencana keamanan pada aplikasi manajemen pasien buatan AI

• Kasus seorang staf institusi medis yang membuat sendiri sistem manajemen pasien menggunakan AI coding agent
  • Mengimpor seluruh data pasien yang sudah ada lalu mendistribusikannya secara publik di internet
  • Menambahkan fitur perekaman percakapan saat konsultasi, lalu mengirimkannya ke dua layanan AI untuk mewujudkan fungsi ringkasan otomatis
• Akibatnya, seluruh data pasien berada dalam kondisi terpapar di internet tanpa enkripsi
  • Penulis memperoleh izin baca-tulis ke seluruh data hanya dalam 30 menit
  • Masalah tersebut sudah dilaporkan, tetapi balasan yang diterima adalah pesan terima kasih yang dibuat otomatis oleh AI
• Data disimpan di server AS dan dioperasikan tanpa perjanjian pemrosesan data (DPA)
  • File rekaman suara juga dikirim ke perusahaan AI yang berbasis di AS
  • Pasien tidak diberi tahu sebelumnya mengenai pemrosesan data ini
• Tindakan ini berpotensi melanggar nDSG (undang-undang perlindungan data) Swiss dan kewajiban menjaga kerahasiaan profesional (Berufsgeheimnis)
  • Meskipun bukan ahli hukum, penulis menilai banyak ketentuan kemungkinan telah dilanggar
• Disampaikan peringatan bahwa “jika AI coding tetap berada pada level ‘vibe’ semata, itu akan berujung pada masa depan yang tidak aman”

Latar belakang teknis

• Aplikasi terdiri dari satu file HTML
  • Seluruh JavaScript, CSS, dan kode struktur disertakan secara inline
  • Backend menggunakan layanan basis data terkelola tanpa kontrol akses sama sekali
• Logika kontrol akses hanya ada di JavaScript sisi klien
  • Akses data dimungkinkan hanya dengan satu baris perintah curl
• Semua file rekaman suara dikirim langsung ke API AI eksternal untuk proses transkripsi dan peringkasan
• Hanya dari ini saja sudah jelas terlihat adanya kelemahan keamanan yang serius

Prospek

• Saat menggunakan alat AI coding, kemampuan memahami struktur kode dan arsitektur adalah hal yang wajib
• Pendekatan yang sekadar “menikmati suasana coding dengan AI (vibing)” akan memicu hasil yang berbahaya
• Di tengah meluasnya alat pengembangan AI, kesadaran keamanan dasar dan pemahaman teknis mutlak diperlukan

[xguru]

Ya, sudah sih... bahkan kalau cari OPENAI_API_KEY di GitHub saja, yang ketemu nyangkut juga banyak...

[tangokorea]

Kalau begini terus, mungkin akan datang masa ketika kita harus sampai mengambil sertifikat vibe coding..

[claudemd]

Dunia jadi sangat kacau karena semakin banyak orang yang berpura-pura menjadi ahli lewat AI, lalu mulai banyak bicara.
...

[click]

Di Korea juga, sesuai dengan Undang-Undang Perlindungan Informasi dan Pasal 21 Ayat 2 Undang-Undang Medis, pekerja di institusi medis diatur agar tidak memperlihatkan catatan pasien kepada orang lain dalam situasi yang tidak termasuk alasan pengecualian.
https://law.go.kr/%EB%B2%95%EB%A0%B9/%EC%9D%98%EB%A3%8C%EB%B2%95/…

Berkat lingkungan perlindungan informasi Korea yang tertinggal, semua orang begitu memuja pemisahan jaringan, jadi untungnya insiden seperti ini tampaknya jarang terjadi di rumah sakit besar.
Karena lingkungan untuk melihat catatan pasien berada di jaringan internal, pengguna yang tidak paham keamanan sulit langsung menghubungkan layanan AI komersial.
Saya tidak tahu apa yang terjadi di klinik tingkat pertama yang menghubungkan komputer untuk perawatan langsung ke jaringan internet haha

[antegral]

PHI harus selalu ditangani dengan hati-hati... dan lebih hati-hati lagi...

[parkindani]

Saya juga memberi tahu teman saya tentang Claude Code, lalu sekitar dua minggu kemudian dia bilang, "Aku sudah bikin sesuatu!!" dan ternyata situasi yang persis sama juga terjadi.

[kiga183]

Katanya teknologi untuk menemukan kerentanan keamanan juga sudah berkembang pesat
Karena ketika kerentanan itu ditemukan, kebutuhan akan cara untuk mengamankannya juga ikut muncul
Jadi tampaknya metode keamanan juga akan ikut disempurnakan.

[woung717]

Pertama-tama, orang yang bukan ahli kemungkinan bahkan tidak tahu hal-hal seperti itu ada, ataupun mengapa hal-hal itu diperlukan.

[carnoxen]

Semakin begitu, semakin timbul rasa waspada bahwa kita harus mempelajari ilmu komputer.

[ryj0902]

Menurut saya, ini benar-benar ungkapan yang sangat tepat sasaran.

[GN⁺]

Opini Hacker News

• Pernah mengalami hal serupa di Spanyol. Bukan di bidang medis, melainkan perusahaan asuransi kecil, dan sulit dipercaya, tetapi mereka juga membuat CRM dengan vibe-coding
  Saat saya memberi tahu masalahnya lewat email, mereka mengancam akan menuntut saya. Konyol sekali, tetapi akhirnya saya melaporkannya ke AEPD (otoritas perlindungan data Spanyol). Lembaga ini terkenal cukup kuat
  Jumat lalu saya juga mengirim burofax untuk meminta penghapusan data pribadi saya

  • Dulu saat Wi-Fi baru mulai menyebar, saya pernah mengalami hal serupa. Saya terhubung ke jaringan terbuka dan ternyata itu kantor firma hukum. Semua komputer terhubung lewat Samba dan seluruh drive C: dibagikan
    Saya memberi tahu masalahnya lewat README.txt, tetapi tidak ada yang berubah. Saya sempat berpikir untuk datang langsung, memperbaikinya, dan mungkin menjadikannya pekerjaan pertama saya, tetapi mereka malah marah. Mereka bilang sudah memakai vendor mahal dan menuduh saya menyusup. Jadi saya langsung pergi
  • Saya iri mendengar AEPD sekuat itu. Andai negara lain juga punya lembaga seperti ini
  • Tolong terus beri pembaruan perkembangan di thread ini
  • Individu belajar setelah sekali terkena, tetapi perusahaan tidak pernah belajar
  • Orang yang membuat aplikasi seperti ini sering kali sama sekali tidak paham aturan privasi data
    Di forum UKM tempat saya berada, ada seseorang yang membanggakan bahwa dia membuat sendiri aplikasinya dengan AI. Tapi dia sama sekali tidak tahu tanggung jawab hukumnya, dan ketika para developer di Reddit berkata “sewa developer sungguhan”, dia marah. Sekarang dia percaya developer adalah spesies yang hampir punah

• Di LinkedIn, para salesman yang tidak paham teknologi terus bicara seolah AI adalah jawaban untuk semua masalah
  Dalam suasana seperti ini, ada rasa cemas bahwa suatu hari nanti akan terjadi insiden yang benar-benar besar

  • Sampai ada yang menyebutnya seperti Hindenburg di dunia coding
  • Hal buruk sudah terjadi, dan kita perlu melihat bagaimana model generasi berikutnya akan mengubah situasi ini

• vibe-coding memang keren, tetapi batasnya cepat terlihat
  Setelah melewati ribuan baris, strukturnya runtuh, dan sistem nyata jauh lebih kompleks. Pada akhirnya tetap dibutuhkan dasar-dasar rekayasa perangkat lunak
  Untuk prototipe atau alat internal mungkin tidak masalah, tetapi untuk produksi nyata berbahaya. Saya tidak ingin menitipkan data saya ke sistem seperti ini

  • Ada berbagai trik pengelolaan memori dan alat pengindeksan kode, tetapi pada akhirnya yang penting justru alat manajemen matang seperti Jira
    Saya memakai Jira Rovo MCP dengan Claude Code untuk membuat desain dan dokumentasi, lalu meninjaunya secara manual sebelum mengimplementasikan di sesi baru
    LLM makin banyak konteks justru makin bodoh, jadi sangat disarankan memakai pengaturan context status bar
  • Dalam praktiknya, pendekatan seperti ini sering runtuh. Bahkan hasilnya bisa lebih buruk karena perubahan kode diterima tanpa menyadari adanya utang teknis
    Saya menguji Gemma 4 secara lokal, dan meski lambat, kemampuannya setara model cloud. Kelebihannya, data tidak keluar ke pihak luar
  • Kalau membuat aplikasi sendiri dengan Claude Code, akan terasa bahwa aplikasi bisa berjalan meski tanpa memahami dasar-dasarnya. Saya baik-baik saja sampai sekitar 20 ribu baris. Hanya saja, tetap perlu ada orang yang memberi umpan balik

• Beberapa bulan lalu saya melihat web app hasil vibe-coding yang dibuat seorang ahli bedah
  Aplikasinya memang berjalan, tetapi tidak ada index.html di direktori root, dan file backup berisi info koneksi DB serta key AWS apa adanya
  Menambahkan index.html kosong sebenarnya cukup untuk menyelesaikannya, tetapi baik developer maupun AI tidak tahu alasannya
  Aplikasinya sendiri mengesankan, tetapi ada terlalu banyak kesalahan keamanan mendasar. Cukup sekali ditinjau DevOps berpengalaman, masalahnya bisa selesai

  • Yang menarik, AI justru bagus di bagian sulitnya (hash password, desain skema), tetapi melakukan kesalahan di bagian yang butuh naluri operasional
    Pada akhirnya AI tidak tahu hal yang “tidak ditanyakan”. Developer berpengalaman mengingat kegagalan masa lalu, sedangkan vibe-coder hanya punya prompt
  • Solusi yang sebenarnya bukan sekadar mematikan pengindeksan, melainkan membuat arsitektur yang mencegah server mengakses file kredensial
  • Untuk mencegah masalah seperti ini, dibutuhkan alat DevOps Agent-Native. Harus ada standar untuk mengotomatisasi deployment dan billing

• Kalimat “semua logika kontrol akses ada di JavaScript klien” benar-benar yang terburuk
  Ini adalah contoh khas nonprofesional yang memakai AI secara sembrono.
  Saat memakai AI dalam pekerjaan nyata, tanggung jawab dan risikonya harus disadari

  • Alat seperti Claude atau opencode pada dasarnya adalah harness coding brute-force
    Tanpa kontrol workflow yang layak dan verifikasi hasil, masalah seperti ini akan terus muncul. Saat ini kita masih berada di era Wild West untuk LLM
  • Masalahnya bukan AI, melainkan ketiadaan manusia yang cerdas. Saya juga pernah melihat perusahaan medis yang membiarkan frontend langsung memberi instruksi query SQL ke backend

• Saya rasa rekayasa perangkat lunak sekarang juga memerlukan sistem kualifikasi profesional
  Seperti halnya merancang jembatan atau gedung memerlukan sertifikasi, developer yang membangun sistem penting juga seharusnya memenuhi standar tertentu

  • Tetapi lembaga seperti itu sering hanya berperan sebagai gatekeeper. Hukum dan sistem sertifikasi sebenarnya sudah ada, masalahnya ada pada penegakannya
  • Sudah banyak hukum terkait, termasuk pemrosesan data pribadi. Hanya saja kesadarannya masih kurang. Sepertinya sebentar lagi akan muncul kasus hukuman untuk pejabat level tinggi
  • Saya juga mendukung regulasi. Perangkat lunak adalah bidang yang serius, dan demam AI saat ini harus dihentikan
  • Masalahnya bukan kualifikasi, tetapi ketidaktahuan. Bahkan orang yang tidak paham pengelolaan data medis pun sedang membangun sistem
    Pada akhirnya, seiring waktu, pemahaman tentang AI dan privasi akan terbentuk
  • Sebenarnya di kebanyakan negara hukum dan standarnya sudah ada. Kasus ini hanya contoh yang sepenuhnya mengabaikannya

• Tulisan ini terasa terlalu samar sampai seperti fiksi

  • Saya kenal penulisnya, dan dia bukan tipe orang yang akan berbohong. Menyembunyikan detail spesifik itu masuk akal
  • Tidak menyebut nama perusahaan adalah keputusan yang etis. Sebelum terverifikasi, itu berisiko
  • Ada juga yang bercanda bahwa mungkin ini clickbait buatan AI
  • Namun isinya tidak benar-benar mirip kode buatan AI. Bentuk struktur dan kesalahan keamanannya lebih dekat ke kode pemula. Perlu bukti lebih banyak
  • Rasanya seperti cerita yang dipoles agar terdengar masuk akal pada tingkat yang mustahil diverifikasi

• Jika AI dilatih untuk menyembunyikan implementasi, misalnya membuat klien tipis dan memakai autentikasi OAuth, apakah hasilnya akan lebih baik?
  Kesalahan sederhana seperti ini sebetulnya sangat bisa dicegah. Tetapi tujuannya tetap menggantikan developer
  Yang lebih buruk, orang mulai percaya bahwa “mempelajari hal sulit itu tidak efisien”
  Saya bekerja di bidang kriptografi, dan sebagian mahasiswa mengira keterampilan keamanan akan segera hilang karena AI. Jadi saya menyuruh mereka mengimplementasikan autentikasi web sederhana agar mereka melihat kenyataannya

• Sejauh yang saya tahu, sebuah firma akuntansi yang saya kenal juga sedang membuat CRM sendiri dengan Lovable. Tidak ada staf teknis sama sekali
  Bencana yang akan terjadi sudah terlihat jelas

  • CRM itu inti utamanya keandalan, jadi saya tidak paham kenapa harus repot membuatnya sendiri

• Semua industri berisiko tinggi lain punya sistem verifikasi ganda. Pilot punya kopilot, ahli bedah punya checklist, pembangkit nuklir punya verifikasi independen
  Tetapi software adalah pengecualian, dan vibe-coding bahkan menghapus verifikasi berbasis pemahaman yang sebelumnya masih ada

  • Memang ada code review, tetapi kebanyakan hanya formalitas. Tahap QA dulu sebenarnya lebih baik, tetapi hilang karena biaya dan kecepatan