Saya mencoba menanyakan soal aritmetika dasar kepada GPT-NeoX-20B

 (twitter.com/moyix)
4 poin oleh xguru 2022-02-12 | 4 komentar | Bagikan ke WhatsApp

  • Mencoba memberi GPT-NeoX, model open source berskala GPT-3, pertanyaan aritmetika dasar

  • Dari 100 soal, hanya 10 yang benar. Namun sebagian besar mendekati jawaban yang benar

Q: "What is 2653 * 30641?"

A: 82356113 (salah)

Jawaban yang benar adalah 81290573

  • "Model bahasa" pada dasarnya dikenal tidak terlalu mahir dalam matematika (mungkin sebagian karena cara angka ditokenisasi)

Bacaan terkait

4 komentar

 
louie 2022-02-12

Bukankah jawaban yang benar sebenarnya 81290573, dan jawaban GPT-NeoX adalah 82356113?

Saya juga sudah mencoba menghitungnya secara mental dan memakai kalkulator, dan sepertinya jawaban yang benar adalah 81290573!

(Di gambar pada tautan juga terlihat bahwa Correct ditandai sebagai No.

Kalau saya salah, mohon dikoreksi!)
 
xguru 2022-02-12

Waduh, sepertinya saat saya menulis tadi saya menukar urutan depan-belakangnya. Sudah saya perbaiki, hiks.
 
budlebee 2022-02-12

Malah lebih mengejutkan karena ia memberikan nilai perkiraan sebagai jawaban yang benar, jadi terasa seperti manusia.
 
xguru 2022-02-12

Ada banyak pembahasan detail soal ini di komentar HN https://news.ycombinator.com/item?id=30299360