Mengapa perusahaan bisa rugi meski conversion rate A/B test naik? (alat hitung ROI)

Halo. Saya membuat dan membagikan PRISM, alat yang menghitung dampak finansial nyata dari A/B test.

• Latar belakang masalah

Saat bekerja sebagai PM/PO, sering kali ketika conversion rate (CR) naik 2%, eksperimen itu langsung dianggap sebagai eksperimen 'winning' dan diputuskan untuk dirilis.

Namun bagaimana jika di balik itu average order value (AOV) justru turun 4%? Bergantung pada skala traffic, perusahaan bisa mengalami kerugian tahunan hingga puluhan juta won.

Saya membuat ini karena ingin memverifikasi hasil eksperimen secara menyeluruh dari sudut pandang finansial, yaitu 'Net Profit', tanpa terjebak pada jebakan metrik.

• Fitur utama (bisa langsung digunakan tanpa login)

Perhitungan profit yang presisi: masukkan traffic, perubahan CR, perubahan AOV, margin, dan sebagainya, lalu kenaikan atau penurunan laba bersih tahunan akan langsung dihitung.

Ekspor PDF: Anda bisa langsung melihat laporan yang menyertakan waterfall chart yang intuitif.

• Tautan berbagi yang ramah

Menghasilkan URL (termasuk parameter) agar layar hasil perhitungan dapat dibagikan apa adanya kepada anggota tim.

Saya juga menghapus semua proses merepotkan seperti pendaftaran akun atau login. Cukup masukkan angka, lalu hasilnya bisa langsung dilihat.

• Tautan : https://prizm-v2-6dohhi.flutterflow.app/

Karena masih berada pada tahap MVP, masih banyak kekurangannya.

Saya juga sudah mencoba menerapkan logika guardrail (threshold) untuk kasus saat metrik ekstrem dimasukkan.

Saya mohon feedback yang terus terang dari para praktisi di lapangan, maupun laporan bug!