Belakangan ini kualitas GPT-4 terasa menurun drastis, atau cuma saya yang merasa begitu?

Saya membagikan berbagai jawaban yang muncul pada pertanyaan yang diposting di HN

• Memang jadi lebih cepat dibanding dulu, tetapi kualitas hasilnya banyak menurun sehingga terasa seperti GPT-3.5++. Kode yang dihasilkan jadi lebih banyak bug, dan jawaban-jawabannya terasa kurang mendalam
• Rasanya seperti kemampuannya di-nerf, seolah ditambahkan layer untuk mengklasifikasikan tugas coding tertentu lalu malah memberi jawaban yang tidak perlu. Karena itu saya membatalkan membership premium dan mau mulai mencari opsi model DIY
• Sebelum pembaruan, model ini bisa menyelesaikan masalah coding yang sangat kompleks dan juga memberi jawaban yang sangat penuh pertimbangan untuk pertanyaan non-pemrograman, tetapi sekarang sudah berbeda. GPT-4 orisinal terasa seperti sihir, sekarang malah seperti burung beo probabilistik yang bodoh
• Terasa seperti hanya memberi jawaban yang dangkal dan mendorong kita untuk melakukan tindak lanjut di tempat lain
• Untuk urusan coding, jelas makin memburuk. Setiap kali versi baru keluar saya selalu menyuruhnya melakukan hal yang sama, dan hasilnya makin aneh
• Buat saya sih masih lumayan, tetapi saya lelah karena setiap jawaban selalu menyertakan kalimat yang menjelaskan betapa rumitnya dunia ini. Ya saya juga tahu, jangan perlakukan saya seperti anak kecil
• Inilah alasan model open source itu penting. Dan juga alasan regulasi serta lobi terjadi. Bayangkan rakyat biasa memakai AI yang sudah dikebiri, sementara kalangan atas memakai GPT-4 mentah
• Para peneliti yang menulis makalah "Sparks of AGI" menyoroti bahwa semakin OpenAI melakukan alignment pada GPT-4, semakin turun kemampuannya. Dan tren itu tampaknya terus berlanjut

[wedding]

Saya merasa performanya sempat turun ke titik terendah lalu naik lagi.

Perbaikan pada prompt yang digunakan sepertinya juga ikut berperan.

[hhcrux]

Belakangan ini saya tanya-jawab soal coding, dan meski saya koreksi yang salah, jawabannya tetap berputar di situ-situ saja. Saya sempat bertanya-tanya kenapa begini, ternyata bukan cuma saya yang mengalaminya.

[botplaysdice]

Sepertinya AI generatif memang benar-benar sedang sangat heboh. Bahkan ada postingan lanjutan juga naik...

https://news.ycombinator.com/item?id=36155267

[test4458]

Saya juga merasakannya...
Kecepatan jawabannya juga melambat, tapi malah jadi lebih bodoh.

Belakangan ini saat saya memberi kode sekitar 200 baris, GPT-4 malah kena batas input maksimum,
sementara GPT-3 justru bisa memprosesnya?..

Entah ini semacam error sementara karena alignment yang salah.. atau memang sengaja di-nerf..

[noziroh]

Oh, saya juga merasakannya. Jadi ternyata bukan cuma saya yang merasa begitu.. Orang-orang yang pakai GPT setiap hari sepertinya bisa merasakan perbedaannya secara halus.

[colus001]

Saya cukup sering merasakannya saat menulis JD; dengan prompt yang sama, ada perbedaan kualitas yang halus antara hasil yang ditulis satu setengah bulan lalu dan yang ditulis belakangan ini. Entah bagaimana mengatakannya, mungkin terasa seperti kurang niat?

[kuroneko]

Sepertinya performa GPT-4 yang gila saat pertama kali dirilis itu sudah tidak ada lagi...

[iolothebard]

Pada awal kemunculan GPT-4, rasanya sampai seperti ada manusia yang menjawab dari belakang (Simsimi??)...
Etika memang semenakutkan itu.

[cherrycoder]

Bukannya saya ingin mendengar jawaban yang bermuatan moral dari GPT, tapi rasanya mesin ini jadi terlalu banyak mempertimbangkan ini-itu. Seolah-olah terlalu banyak melewati penyaringan seperti, "Kalau menjawab begini bakal tidak bermoral ya?" sampai-sampai jawabannya malah jadi aneh.

[xguru]

Ada lebih dari 600 komentar.

Bagi saya, yang paling mengesalkan adalah bahkan ketika saya meminta hal yang sama, hasilnya terlalu sering berbeda-beda. Padahal saya sudah memberi temperature rendah.