QAMap – CLI lokal yang membaca commit dan diff untuk menyarankan skenario QA PR

Halo. Saya sedang membuat QAMap, sebuah CLI lokal yang membaca konteks perubahan PR dan merancang QA yang diperlukan.

Hambatan yang saya rasakan di tim produk bukanlah penulisan kode uji, melainkan proses menilai ulang untuk setiap PR: “apa yang harus dibuktikan oleh perubahan kali ini?” Pada awalnya saya menganalisis diff dan struktur proyek untuk merekomendasikan Playwright·Maestro serta draf E2E, tetapi pada praktiknya hasilnya hanya berhenti pada hal-hal yang sudah diketahui developer dan pengujian layar sukses yang sederhana.

Karena itu, saya mengubah tujuannya. Alih-alih memahami semua domain secara sempurna, QAMap merangkum niat perubahan dan alur fitur berdasarkan commit dan diff, lalu menyarankan QA yang kemungkinan besar terlewat di antara kondisi normal, gagal, batas, dan transisi status. Untuk penilaian yang sulit diyakini, QAMap juga menampilkan dasar pertimbangan dan tingkat kepercayaannya.

Pada akhirnya, saat PR didaftarkan, tujuannya adalah menjadi alat QA lokal yang menemukan fitur yang terdampak, menyusun E2E serta mock·fixture yang diperlukan, menjalankannya dengan aman, lalu meninggalkan dasar verifikasinya. Saat ini versinya v0.4.0, dan saya terus memperbaruinya sambil memverifikasi satu per satu kasus-kasus yang meleset di repositori nyata agar semakin dekat ke tujuan itu.

Karena masih tahap awal, QAMap bisa salah menafsirkan atau melewatkan skenario penting. Yang paling saya butuhkan sekarang adalah contoh kegagalan nyata. Jika QAMap membuat penilaian yang melenceng atau menyarankan pengujian yang tidak dapat digunakan, silakan beri tahu saya dengan santai.

[jeongjin0]

Pendekatan yang menyarankan hingga batasan dan transisi status berdasarkan diff secara lokal ini bagus. Akan lebih mudah menyaring false positive saat review jika untuk setiap skenario terlihat lebih jelas diff hunk atau file mana yang menjadi dasar rujukannya.