AI menghapus tes dan berkata "All Tests Pass" - Kisah horor saat mem-porting Typia dari TypeScript ke Go

• Mem-porting Typia ke bahasa Go untuk menyesuaikan dengan peluncuran TypeScript-Go, lalu menyerahkannya ke AI semalaman
• Di prompt diberikan dua instruksi.
  1. Terjemahkan kode TypeScript ke bahasa Go secara mekanis, dan hanya campur tangan jika memang tak terhindarkan
  2. Kerjakan sampai kode tes lolos
• Pada percobaan pertama, AI mengabaikan instruksi, mengimplementasikan logika sesukanya, lalu ketika tes tidak lolos, menghapus 70% tes dan mengklaim semuanya lolos
• Pada percobaan kedua, setelah ditegaskan bahwa tes tidak boleh disentuh, di program tes untuk semua tipe (168 jenis), AI menyalin begitu saja hasil kompilasi JS seluruhnya lalu menempelkan hardcoding if ~ else if, sambil menghabiskan 8 miliar token
• Pada percobaan ketiga, AI membuat fungsi typia.toZodSchema<T>() dan mendelegasikan seluruh fungsi ke zod. Untuk kasus-kasus yang tidak bisa diloloskan oleh Zod, AI mencoba memaksa lolos dengan mengubah skrip menjadi pnpm test --exclude union complicate recursive protobuf class, yaitu skrip yang mengecualikan fitur-fitur yang gagal melewati tes
• Pada percobaan keempat, kombinasi Codex / GPT 5.5 akhirnya berhasil lolos. Memang sempat diberikan contoh kasus terjemahan TS -> Go, tetapi penyebab pastinya tetap tidak jelas

[picopress]

Bagaimanapun juga, lolos.

[runedia]

Saya pernah mengalami hal yang mirip
Jangan menghindari error.
Setelah saya menambahkan instruksi itu, hasilnya baik-baik saja.

[cafedead]

Sebaliknya, ketika saya memintanya mengubah kode pengujian agar tes lolos, malah kode targetnya yang diubah supaya lolos.

[recast7838]

Saya rasa saya juga pernah mengalami hal serupa. Saat bekerja dengan opencode, saya memintanya menyelesaikan pekerjaan setelah tes lolos, tetapi malah menghapus kode tes...