Google berjibaku menghapus jawaban AI aneh dari Search secara manual

• Media sosial ramai dengan contoh produk AI Overview baru Google yang mengucapkan hal-hal aneh
  • Seperti menyarankan pengguna untuk mengoleskan lem pada pizza, atau menyuruh makan batu
• Peluncuran yang membingungkan ini membuat Google sibuk menonaktifkan AI Overview secara manual untuk pencarian tertentu
  • Saat berbagai meme diposting, pengguna melihatnya menghilang tak lama setelah diunggah ke jejaring sosial

AI Overview Google

• Google telah menguji AI Overview selama 1 tahun
  • Dirilis dalam beta pada Mei 2023 sebagai Search Generative Experience
  • CEO Sundar Pichai menyebut bahwa selama periode itu, sistem telah menangani lebih dari 1 miliar kueri
• Pichai juga mengungkapkan bahwa biaya penyajian jawaban AI telah dipangkas 80%
  • Hal ini dicapai lewat terobosan pada hardware, engineering, dan teknologi
  • Namun, ada kemungkinan optimasi ini dilakukan terlalu dini sebelum teknologinya benar-benar siap

Masalah kualitas AI

• Seorang pendiri startup AI menyebut Google kini dikenal menghasilkan output berkualitas rendah
• Google mengklaim produk AI Overview pada umumnya memberikan "informasi berkualitas tinggi"
  • Juru bicara Google, Meghann Farnsworth, mengonfirmasi lewat email bahwa mereka mengambil tindakan cepat untuk menghapus AI Overview pada beberapa kueri
  • Ia menyatakan bahwa contoh-contoh ini sedang digunakan untuk mengembangkan perbaikan sistem yang lebih luas

Pendapat pakar AI

• Gary Marcus, profesor emeritus neurosains dari New York University, mengatakan banyak perusahaan AI menjual mimpi bahwa teknologinya akan melompat dari 80% ke 100%
  • 80% awal relatif mudah karena hanya mendekati sejumlah besar data manusia
  • 20% terakhir adalah tugas yang sangat sulit
  • Dalam praktiknya, ini mungkin membutuhkan artificial general intelligence (AGI)

Situasi persaingan Google

• Bing lebih dulu mengadopsi AI dibanding Google
  • OpenAI sedang mengembangkan mesin pencarinya sendiri
  • Startup pencarian AI baru sudah memiliki valuasi 1 miliar dolar
  • Generasi muda menginginkan pengalaman terbaik dan mulai beralih ke TikTok
• Google merasakan tekanan persaingan, dan hal ini berujung pada peluncuran AI yang kacau
  • Pada 2022, Meta merilis sistem AI bernama Galactica, tetapi segera menariknya kembali setelah muncul masalah seperti menyarankan orang untuk memakan kaca

Rencana Google untuk AI Overview

• Google punya rencana besar untuk AI Overview.
  • Fitur saat ini hanyalah sebagian kecil dari yang diumumkan perusahaan minggu lalu.
  • Seperti penalaran multi-tahap untuk kueri kompleks, pembuatan halaman hasil yang diorganisasi AI, dan pencarian video di Google Lens
• Namun, saat ini reputasi perusahaan bergantung pada kemampuannya menangani hal-hal dasar dengan benar, dan situasinya tidak terlihat bagus

Gary Marcus - "[Model-model ini] pada dasarnya tidak bisa melakukan sanity check atas pekerjaannya sendiri, dan inilah yang akan menghambat industri ini"

Opini GN⁺

• Masalah keandalan AI: Sistem AI memiliki keterbatasan struktural karena tidak dapat memverifikasi pekerjaannya sendiri. Ini berisiko memberikan informasi yang salah kepada pengguna.
• Tekanan persaingan: Google merasakan tekanan dari para pesaingnya, dan hal ini dapat memengaruhi kualitas peluncuran produk.
• Tantangan teknis: Perjalanan teknologi AI dari 80% ke 100% adalah tugas yang sangat sulit. Ini menunjukkan dengan jelas batasan dan tantangan AI.
• Pengalaman pengguna: Generasi muda menginginkan pengalaman pengguna terbaik, dan ini adalah area yang perlu terus ditingkatkan oleh Google.
• Alternatif lain: Bagi pengguna yang mempertimbangkan mesin pencari AI, Bing atau startup pencarian AI baru juga bisa menjadi alternatif yang baik.

[hhcrux]

"Menyebut bahwa banyak perusahaan AI menjual mimpi bahwa teknologinya akan melaju dari 80% ke 100%"
Bagian ini juga selalu saya pikirkan. Ini juga menjadi dasar pemikiran saya bahwa meski dunia AI datang, pekerjaan manusia tidak akan hilang.

[GN⁺]

Komentar Hacker News

Ringkasan kumpulan komentar Hacker News

• Pendekatan Google dalam menghapus saran pencarian secara manual

  • Mengingatkan pada kasus Google di masa lalu yang berusaha menyesuaikan algoritme itu sendiri alih-alih mengutak-atik hasil pencarian secara manual.
  • Saat uji coba Froogle pada 2002, untuk pencarian "running shoes" muncul patung peri taman sebagai hasil teratas.
  • Seorang engineer membeli produk tersebut untuk menyelesaikan masalah. Hasil yang benar pun bisa dikembalikan tanpa mengubah algoritme.

• Masalah akurasi AI

  • Akurasi 80% pertama relatif mudah dicapai, tetapi 20% terakhir sangat sulit.
  • Akurasi 100% adalah target yang bahkan tidak bisa dicapai manusia.
  • Tujuannya adalah mengurangi jawaban yang jelas-jelas bodoh.
  • LLMs (large language models) menghasilkan teks yang bagus, tetapi menghilangkan jawaban yang jelas-jelas bodoh tidak selalu merupakan hal yang baik.

• Masalah kualitas pencarian Google

  • Ada perdebatan bahwa Google kehilangan arah karena perang AI.
  • Hasil pencarian Google saat ini penuh dengan spam, clickbait, dan propaganda.
  • Ada pendapat bahwa hasil pencarian setidaknya harus mencerminkan kebenaran yang diakui luas.
  • Penting untuk mengidentifikasi trolling yang terang-terangan, clickbait, dan konten berbahaya.

• Perbedaan antara search engine dan question engine

  • Search engine adalah alat untuk menelusuri internet, bukan alat untuk bertanya.
  • Bertanya sesuatu lewat AI adalah pekerjaan yang berbeda dari menelusuri internet.

• Masalah integrasi AI Google

  • Setiap kali Google mengintegrasikan AI, masalah yang sama terus berulang.
  • Saat masalah muncul, eksekutif senior mengumumkan bahwa mereka akan memperbaikinya, tetapi masalah yang sama terus terulang.

• Masalah dataset Google

  • Mengejutkan bahwa Google, yang telah menyempurnakan hasil pencarian selama 25 tahun, ternyata tidak memiliki dataset yang baik.
  • Mungkin perlu membuat data pelatihan dengan menggunakan CD ensiklopedia lama.

• Pembuatan dan pengujian kueri aneh dengan LLM

  • Mengecewakan bahwa Google tampaknya tidak menggunakan LLM untuk membuat dan menguji kueri-kueri aneh.
  • Ada banyak keuntungan yang bisa didapat dari deployment yang bersih.
  • Perlombaan AI saat ini mungkin merupakan perlombaan menuju titik terendah.

• Masalah versi awal AI

  • AI saat ini lebih buruk daripada pencarian tradisional dalam segala hal.
  • Jari pada gambar buatan AI memang mengesankan.

• Masalah halusinasi pada LLM

  • Orang-orang mengira LLM hanya sesekali berhalusinasi, padahal kenyataannya hal itu terjadi lebih sering.

• Ironi menghapus hasil AI secara manual

  • Ada ironi dalam menghapus hasil AI yang salah secara manual.