Halo.
Sekitar 6 bulan lalu, saya adalah developer yang sempat memperkenalkan layanan partisipasi warga bernama 'Uhheung', tempat orang bisa melihat rancangan undang-undang dengan mudah dan meninggalkan pendapat.
Kali ini, saya ingin membagikan berbagai pertimbangan serta trial and error teknis yang saya alami saat memperkenalkan fitur AI fact-check untuk mencoba mengurangi hoaks dan perdebatan yang tidak produktif di dalam komunitas.
Awalnya saya mendekatinya dengan sangat sederhana. Saya memberikan teks target lalu menulis prompt seperti, "tolong verifikasi apakah tulisan ini benar." Namun ketika benar-benar diterapkan ke layanan, bermunculan masalah tak terduga.
Sistem mencoba melakukan fact-check bahkan pada 'opini' pribadi yang sederhana seolah-olah itu fakta, dan membuat kesimpulan yang terdengar meyakinkan meski tanpa dasar. Selain itu, jika penulis mengubah isi setelah fact-check selesai, muncul situasi absurd di mana hasilnya jadi tidak lagi selaras dengan konten aslinya.
Pada akhirnya saya membuang seluruh struktur awal, dan sekarang pipeline-nya sudah cukup banyak dirombak lalu dioperasikan seperti berikut.
1. Menyaring target verifikasi (opini vs fakta)
Alih-alih memverifikasi seluruh tulisan sekaligus, kami lebih dulu mengekstrak hanya 'klaim faktual' yang dapat diverifikasi secara objektif. Penilaian nilai seperti "kebijakan ini adalah yang terburuk" diabaikan, dan hanya kalimat seperti "RUU ini menaikkan pajak 20%" yang dijadikan target.
Untuk memahami konteks secara akurat, kami tidak hanya melihat teks target, tetapi juga menggabungkan postingan asli, komentar induk, bahkan gambar terlampir secara multimodal untuk memberikan konteks kepada AI.
2. Membuatnya bisa menjawab "tidak tahu"
Ini adalah salah satu bagian yang paling kami perhatikan. Untuk mencegah halusinasi khas LLM, pada isu yang kekurangan dasar tepercaya untuk verifikasi silang atau memang tidak dapat dipastikan, kami mengendalikan prompt dengan ketat agar sistem tidak memaksakan kesimpulan dan justru merespons dengan 'tidak diketahui' atau 'penilaian ditangguhkan'.
3. Membekukan snapshot naskah asli dan menyediakan sumber secara transparan
Untuk mencegah masalah ketika penulis mengubah tulisannya, kami menyimpan data naskah asli (snapshot) persis pada saat fact-check diminta. Saat pengguna lain melihat hasilnya, kami membuat mereka bisa memeriksa secara transparan "teks/gambar pada waktu yang mana yang dijadikan dasar verifikasi" serta "sumber apa yang dirujuk".
4. Menangani traffic dan resource
Karena proses menarik seluruh konteks dan memverifikasinya cukup berat, kami perlu mengelola antrean pengguna. Karena itu semua permintaan dimasukkan ke antrean asynchronous menggunakan Redis Cluster + BullMQ, lalu diproses berurutan di background worker.
Dengan mempertimbangkan biaya dan kecepatan, kami menggunakan Gemini 3.5 Flash sebagai model utama, tetapi menerapkan struktur fallback ke Gemini 3.1 Pro saat tingkat error meningkat atau penalaran kompleks gagal.
(Untuk mencegah permintaan yang berlebihan, kami juga memberi batasan: gratis 1 kali per hari, lalu setelah itu poin dalam aplikasi akan dipotong.)
Pekerjaan rumah yang masih terus kami hadapi
Meski kami telah menyiapkan logika pertahanan dengan cara kami sendiri, masih ada banyak kasus yang rumit. Jika titik waktu acuan statistik berbeda, jika pernyataan melibatkan metafora khas politisi atau interpretasi, atau jika ada tulisan panjang yang dengan licik mencampur fakta dan kebohongan, penanganan yang sempurna masih sulit dilakukan.
Anda bisa langsung mengujinya di aplikasi Uhheung.
Kalau ada tips prompt untuk menangkap halusinasi dengan lebih baik dalam logika verifikasi seperti ini, atau ide UX/UI agar pengguna bisa lebih menerima hasil yang ambigu, saya akan sangat berterima kasih atas sarannya. Terima kasih sudah membaca tulisan panjang ini!
Google Play: https://play.google.com/store/apps/details?id=kr.uhheung.app
App Store: https://apps.apple.com/kr/app/%EC%96%B4%ED%9D%A5/id6751951353
Belum ada komentar.