Bing AI tidak bisa dipercaya

xguru · 2023-02-15T11:03:02+09:00

Semua orang kini tahu Google Bard memberikan jawaban yang salah dalam iklan, tetapi Bing AI juga memberikan jawaban yang sepenuhnya salah dalam demo dan tidak ada yang menyadarinya Penyedot debu untuk hewan peliharaan Saat mencari Pet Vacuums, tertulis bahwa kekurangan salah satu produk adalah "daya hisap lemah, kabel pendek, dan berisik" Saya memeriksa artikel hgtv yang dijadikan sumber informasi, tetapi sama sekali tidak ada isi seperti itu. Bahkan produk tersebut adalah "nirkabel". Penyedot debu genggam tanpa kabel Kehidupan malam Mexico Bing membuatkan rencana perjalanan 5 hari ke Mexico City, lalu ditanya apa yang bisa dilakukan pada malam hari Bar yang katanya bisa dipesan lewat web ternyata tidak punya situs web Klub malam yang disebut populer di kalangan muda tidak memiliki ulasan apa pun setelah 2014/16. Sepertinya semua tentang tempat ini dibuat oleh AI Bar yang disebut menarik ternyata adalah bar gay tertua di Meksiko. Tempat ini memiliki lebih dari 500 ulasan Google, jadi cukup mengesankan bahwa Bing menulis belum ada rating/ulasan Dari 5 rekomendasi tempat, hanya 1 yang akurat Ringkasan laporan keuangan Gap Ini adalah kesalahan terbesar dalam demo dan sama sekali tidak terduga Tertulis gross margin 37.4%, tetapi itu adalah Unadjusted Gross Margin. Gross margin yang disesuaikan dengan biaya penurunan nilai adalah 38.7% Tertulis operating margin 5.9%, tetapi angka itu tidak muncul di mana pun dalam dokumen Diluted EPS juga tertulis $1.6/$1.75, padahal angka itu tidak ada dalam dokumen. Yang benar adalah $0.71/$0.77 Untuk guidance 2022 tertulis mengharapkan pertumbuhan net sales di kisaran low double digits, padahal yang diperkirakan adalah turun ke mid-single digits Entah diambil dari dokumen lain, atau sepenuhnya dibuat-buat Perbandingan Gap dan Lululemon juga sama Angka data Lululemon juga tidak cocok dengan materi sumber Kesimpulan Bing AI berhasil menarik perhatian media, tetapi sama sekali tidak lebih baik daripada Google Bard Sulit dipercaya tim Bing merekam demo pratinjau ini dengan materi yang salah Yang lebih mengejutkan, ini malah dianggap sukses, dan semua orang ikut memuji Bing AI tanpa memeriksa dengan benar Bing AI tidak bisa mengekstrak angka yang akurat dari dokumen, dan sambil mengklaim punya sumber, dengan percaya diri menyusun informasi sesuka hati Ini adalah produk yang belum siap dan tidak boleh digunakan oleh orang yang menginginkan fakta yang akurat

(dkb.blog)

11 poin oleh xguru 2023-02-15 | 7 komentar | Bagikan ke WhatsApp

Semua orang kini tahu Google Bard memberikan jawaban yang salah dalam iklan, tetapi Bing AI juga memberikan jawaban yang sepenuhnya salah dalam demo dan tidak ada yang menyadarinya

Penyedot debu untuk hewan peliharaan

Saat mencari Pet Vacuums, tertulis bahwa kekurangan salah satu produk adalah "daya hisap lemah, kabel pendek, dan berisik"
Saya memeriksa artikel hgtv yang dijadikan sumber informasi, tetapi sama sekali tidak ada isi seperti itu. Bahkan produk tersebut adalah "nirkabel". Penyedot debu genggam tanpa kabel

Kehidupan malam Mexico

Bing membuatkan rencana perjalanan 5 hari ke Mexico City, lalu ditanya apa yang bisa dilakukan pada malam hari
Bar yang katanya bisa dipesan lewat web ternyata tidak punya situs web
Klub malam yang disebut populer di kalangan muda tidak memiliki ulasan apa pun setelah 2014/16. Sepertinya semua tentang tempat ini dibuat oleh AI
Bar yang disebut menarik ternyata adalah bar gay tertua di Meksiko. Tempat ini memiliki lebih dari 500 ulasan Google, jadi cukup mengesankan bahwa Bing menulis belum ada rating/ulasan
Dari 5 rekomendasi tempat, hanya 1 yang akurat

Ringkasan laporan keuangan Gap

Ini adalah kesalahan terbesar dalam demo dan sama sekali tidak terduga
Tertulis gross margin 37.4%, tetapi itu adalah Unadjusted Gross Margin. Gross margin yang disesuaikan dengan biaya penurunan nilai adalah 38.7%
Tertulis operating margin 5.9%, tetapi angka itu tidak muncul di mana pun dalam dokumen
Diluted EPS juga tertulis $1.6/$1.75, padahal angka itu tidak ada dalam dokumen. Yang benar adalah $0.71/$0.77
Untuk guidance 2022 tertulis mengharapkan pertumbuhan net sales di kisaran low double digits, padahal yang diperkirakan adalah turun ke mid-single digits
Entah diambil dari dokumen lain, atau sepenuhnya dibuat-buat
Perbandingan Gap dan Lululemon juga sama
Angka data Lululemon juga tidak cocok dengan materi sumber

Kesimpulan

Bing AI berhasil menarik perhatian media, tetapi sama sekali tidak lebih baik daripada Google Bard
Sulit dipercaya tim Bing merekam demo pratinjau ini dengan materi yang salah
Yang lebih mengejutkan, ini malah dianggap sukses, dan semua orang ikut memuji Bing AI tanpa memeriksa dengan benar
Bing AI tidak bisa mengekstrak angka yang akurat dari dokumen, dan sambil mengklaim punya sumber, dengan percaya diri menyusun informasi sesuka hati
Ini adalah produk yang belum siap dan tidak boleh digunakan oleh orang yang menginginkan fakta yang akurat

7 komentar

dbs0829 2023-02-15

Saya juga terus meneliti deep learning, dan saya merasa masalah over-confidence pada model memang cukup besar; tampaknya masalah serupa juga muncul di sini.

kherootz 2023-02-15

ChatGPT juga sudah parah soal bikin sumber seenaknya, jadi ekspektasiku ke Bard tadinya besar..

xguru 2023-02-15

Sepertinya ini perlu dibaca bersama dengan ChatGPT adalah JPEG buram dari web.

blueprajna 2023-02-15

Benar-benar berhasil membuat AI yang terasa seperti manusia.

dante 2023-02-15

Hal yang sama juga berlaku untuk chat GPT. Kalau tidak punya pengetahuan khusus, ada banyak jawaban seperti itu yang tidak akan disadari keliru.

qyurila 2023-02-15

ChatGPT secara jelas menyebutkan keterbatasan bahwa layanan ini tidak terhubung ke internet dari pihak OpenAI, dan sesuai desainnya, untuk pertanyaan seperti di artikel utama, layanan ini juga sering menolak menjawab.

jujumilk3 2023-02-15

Benar. Kalau tidak tahu, seharusnya bilang tidak tahu, bukannya terus-terusan terlihat seperti berbohong.