LoPE: Menambahkan teks Latin acak di depan dapat meningkatkan penalaran LLM! (makalah arXiv)
(dev.to)LoPE adalah teknik yang menyisipkan Lorem ipsum dolor sit amet ... di depan prompt saat pelatihan RL. Teknik ini menyelesaikan masalah "zero-advantage" di mana sinyal pembelajaran menjadi 0 ketika semua sampel gagal pada masalah yang sulit.
Hasil utama:
- Rata-rata benchmark matematika +4,62 poin pada Qwen3-4B
- Peningkatan performa relatif 22% pada AMC 2023
- Satu-satunya metode yang berhasil menembus 50 soal sulit yang gagal diselesaikan semua metode sebelumnya
Poin untuk dibaca
Menarik untuk melihat mengapa "teks yang tampak seperti bahasa tetapi tidak bermakna" berbasis Latin ini efektif, serta mekanisme bagaimana teks tersebut mengganggu lintasan penalaran dasar model untuk memperoleh keragaman eksplorasi.
13 komentar
“Burung hantu nomor 158, bisa melakukannya?”
“… instruktur, ini terlalu…”
“Lorem ipsum! Bisa melakukannya?”
“Argh!!! Saya bisa!”
Wkwkwkwkwkwkwkwk
wkwkwk
🤣🤣🤣🤣 Aku ngakak banget
Menarik. Ini seperti menggunakan kalimat yang bisa diabaikan model sebagai semacam seed tambahan untuk memperluas ruang pencarian saat melakukan sampling.
Betul. Menarik dan juga memicu rasa ingin tahu karena ini menghadirkan perspektif baru yang tak terduga, sekaligus benar-benar meningkatkan performa.
Mungkin ini juga bisa diartikan bahwa model saat ini mengalami pembelajaran yang terlalu overfit, dan karena itu masih ada ruang untuk lebih mengurangi kapasitas model.
Ternyata bukan cuma perasaan kalau nulis prompt sambil typo parah malah bikin performanya meningkat
Wkwkwk, kenapa kalian semua lucu sekali
Prinsipnya masuk akal, tapi tetap terasa menarik. Kenapa performanya tidak turun, malah naik?
Menurut saya, kalau diibaratkan pada manusia, ini mungkin mirip seperti saat menghadapi masalah yang sulit, lalu setelah 'menyegarkan pikiran' dan memikirkannya lagi dari awal, masalahnya jadi bisa terpecahkan. Ini cuma pendapat pribadi saya, hehe
Yang saya penasaran, kalau itu dimanfaatkan apakah bisa menghasilkan hasil yang bermakna juga dalam pembelajaran secara umum?? Berdebar-debar..
Saya juga jadi ingin mencobanya. ^^
Dulu juga pernah ada hasil penelitian bahwa jika prompt yang sama dimasukkan 2 kali berulang (meski tidak bermakna), hasilnya bisa keluar lebih baik. Rasanya seperti menegur sekali lagi.. Seperti yang juga saya tulis sebagai balasan di komentar aliverornot, ini tampaknya berperan untuk menyegarkan pikiran. Agak mirip dengan ketika para matematikawan meletakkan pena sejenak lalu berjalan-jalan saat mereka mentok pada soal yang sulit.. haha