Dalam makalah yang diterbitkan tim Google Research ("Prompt Repetition Improves Non-Reasoning LLMs"), ditemukan teknik yang sangat sederhana namun kuat:
jika prompt yang sama diinput dua kali persis apa adanya, hasilnya akurasi meningkat signifikan pada sebagian besar LLM terbaru (Gemini, GPT-4o, Claude, DeepSeek, dll.).
Poin utama:
- Karena struktur kausal (autoregressive) LLM, model rentan terhadap urutan informasi dalam prompt dan fakta bahwa informasi hanya dilihat sekali → sering salah pada tugas ketika informasi penting ada di bagian belakang atau saat perlu melakukan referensi.
- Jika prompt diulang dua kali → pada tahap prefill (analisis input), model memproses isi yang sama dua kali sehingga representasi internal menjadi lebih akurat dan kesalahan referensi/memori berkurang drastis.
- Hampir tidak memengaruhi tahap generasi (pembuatan token keluaran) → waktu inferensi dan panjang output hampir tidak bertambah (dengan pengecualian kasus konteks sangat panjang seperti Claude).
- Hasil eksperimen: pada 7 model × beberapa benchmark, dari 70 kombinasi terdapat 47 peningkatan, dan tidak ada satu pun yang turun drastis.
- Contoh ekstrem: tugas “Dari daftar 50 nama, siapa nama ke-25?”
→ akurasi dasar Gemini 2.0 Flash Lite 21% → 97% setelah pengulangan (hampir sempurna) - Pada tugas penalaran kompleks seperti Chain-of-Thought, efeknya kecil (karena kasus seperti ini memang sudah menangani referensi dengan baik).
- Kekurangan: jika prompt sudah sangat panjang, waktu prefill bisa bertambah, atau jika diulang tiga kali atau lebih bisa terkena batas token.
Kesimpulan
Trik peningkatan akurasi yang mengejutkan karena sangat sederhana dan nyaris tanpa biaya, berpotensi menjadi seterkenal “Think step by step”.
Terutama layak diperhatikan sebagai tip praktis yang bisa langsung dipakai untuk referensi sederhana, pemrosesan daftar, dan pertanyaan data terstruktur.
Belum ada komentar.