Demo Gemini “bebek” tidak berlangsung secara real-time maupun lewat suara

• Demo Gemini bebek dari Google yang mengesankan ternyata tidak dilakukan lewat percakapan real-time atau input suara, berbeda dari yang disiratkan video publiknya
• Model tidak dibuat memproses video secara langsung, melainkan diberi gambar diam yang diambil dari adegan
• Juru bicara menyatakan bahwa prompt dari manusia juga digunakan, dan narasi suara dalam video ditambahkan belakangan
• Cara pelaksanaan sebenarnya berbeda dari interaksi real-time dan suara yang terlihat di video final
• Saat menilai demo Gemini, perlu dibedakan antara video yang diarahkan dan input yang benar-benar masuk ke model

---

Cara sebenarnya demo Gemini bebek dijalankan

• Demo Gemini Google yang menampilkan bebek bukan berlangsung secara real-time
• Model tidak memproses video secara langsung dalam waktu nyata, tetapi menerima gambar diam yang diambil dari adegan video
• Prompt dari manusia diberikan ke model, dan narasi untuk prompt tersebut ditambahkan setelahnya
• Cara pelaksanaan ini diungkapkan melalui juru bicara

Tautan terkait

• Detail selengkapnya mengarah ke artikel Bloomberg Opinion: bloomberg.com/opinion/articl…

[GN⁺]

Opini Hacker News

• Saya pernah melakukan hal seperti ini di kampus
  Di kelas ilmu komputer pertama, kami mendapat Raspberry Pi, lalu diberi tugas membuat “sesuatu” tanpa pengalaman coding atau panduan. Yang dikumpulkan bukan kode, melainkan hanya demo yang berfungsi
  Kami bertiga membeli sensor kelembapan, menghubungkannya ke Pi, memasangnya di bawah jembatan, lalu mengatakan akan membuat sistem deteksi banjir yang mengirim email ke pihak terkait tepat sebelum banjir terjadi
  Pada demo sebenarnya, seorang teman di belakang kelas sudah membuka Gmail dan siap mengirim email “peringatan banjir”, sementara skripnya hanya mencetak kalimat di antara wait. Setelah mencetak “menunggu kelembapan”, 3 detik kemudian skrip mencetak “kelembapan terdeteksi” saat kami mencelupkan sensor ke gelas berisi air, lalu ketika mencetak “mengirim email ke [e-mail]”, teman di belakang menekan kirim, email masuk, dan kami mendapat nilai penuh

  • Di bidang sistem kontrol industri, hal seperti ini disebut smoke and mirrors
    Kadang proyek besar belum siap, tetapi pelanggan tetap ingin melihat sebagian seolah-olah sudah selesai, dan mereka mengharapkan kondisi final tanpa memahami bahwa 90% pekerjaannya tidak terlihat oleh pengguna
    Cukup umum untuk menyiapkan HMI dummy, seseorang menekan tombol saat demo, sementara di ruangan sebelah orang lain memanipulasi output dan input secara manual agar terlihat seperti benar-benar berjalan
  • Saat sekolah, saya melakukan hal serupa ketika membuat sistem navigasi lokal
    Dalam prosesnya, semua receiver GPS yang kami pegang rusak; model modul GPS RS-232 itu memang sangat rapuh. Jadi kami tidak bisa mendemokan navigasi real-time sungguhan, dan toh sistemnya juga belum benar-benar selesai
    Meski begitu, setelah GUI selesai, kami berpura-pura “seperti inilah tampilannya saat navigasi”, dan kode navigasinya tidak benar-benar dijalankan. Itu bukan aktivitas yang masuk nilai, tetapi sampai sekarang masih terasa agak mengganjal
  • Belakangan, pada dasarnya mereka sedang mempelajari keterampilan menipu yang dibutuhkan di apa yang disebut industri teknologi
  • Bukankah ini kecurangan? Kedengarannya seperti kecurangan dan juga membuat pelakunya terlihat cukup buruk
  • Tapi secara harfiah memang ada backend-nya

• Ini benar-benar aneh. Google yang menciptakan transformer, fondasi dari semua model ini, tetapi saya tidak mengerti bagaimana mereka bisa terus meleset seperti ini
  Google Docs keluar pada 2006, tetapi Microsoft sedang merebut makan siang mereka. Google membuat fitur untuk mengganti VM di tempat dan pusat data yang sepenuhnya otomatis, tetapi di cloud Amazon dan Microsoft berada di depan. Mereka juga mengerjakan swakemudi lebih lama daripada siapa pun, tetapi Tesla sudah mengejar dan kemungkinan besar akan menang
  Skala melesetnya luar biasa

  • Pada September 2008 saya berada di Microsoft, dan secara internal sudah ada Office berbasis web yang sangat cantik dan berfungsi baik
    Namanya berbeda dan sepertinya bukan SharePoint, mungkin terkait hal seperti laporan biaya. Bahkan Google Docs saat ini pun akan dibuat malu olehnya, tetapi mereka tidak ingin mengkanibalisasi produk mereka sendiri
  • Google tidak tahu cara melakukan hal lain
    Produk membutuhkan dedikasi dan iterasi, dan 10% terakhir adalah bagian paling penting. Namun Google terus menolak mendorong produk melewati garis finis, lalu menyerah dan menambahkannya ke Google Product Graveyard yang terkenal itu
    Jujur saja, apa gunanya? Mereka bisa mempertahankan pencarian/iklan inti saja dan tidak perlu menghabiskan miliaran dolar untuk puluhan ribu engineer mahal yang masuk lewat proses wawancara yang kacau
  • Mengejutkan, tetapi tidak terlalu tidak terduga. Google sudah sama terkenalnya karena ketidakmampuan produk seperti karena kemampuan teknisnya
    Menguasai riset dasar AI generatif tetapi tersandung telak di produk konsumen adalah alur yang sangat khas dari perusahaan yang membuat Stadia, GMail/Inbox, dan 17 aplikasi chat
  • Teknologi Google Docs berbasis pada perusahaan yang diakuisisi, dan Google hanya memanfaatkan monopoli pencariannya untuk membuatnya lebih populer. Strategi yang sama juga dipakai untuk YouTube
    Hampir tidak ada produk bagus yang diluncurkan Google sendiri sejak Gmail, dan bahkan Gmail pun dibesarkan dengan memakai monopoli pencarian sebagai papan iklan gratis
    Ada juga keterangan bahwa “Google Docs berawal dari Writely, pengolah kata berbasis web yang diluncurkan perusahaan perangkat lunak Upstartle pada Agustus 2005”
  • Orang-orang bicara soal meleset, tetapi Google punya lebih banyak produk dengan lebih dari 1 miliar pengguna daripada perusahaan mana pun di dunia
    Yang selalu dipedulikan Google adalah membawa aplikasi ke miliaran pengguna
    Orang juga lupa bahwa saat ini Google adalah perusahaan AI paling menguntungkan di dunia. Semua produknya menggunakan machine learning dan AI
    Jadi siapa yang kalah? Tujuan Gemini bukan membuat chatbot seperti ChatGPT, karena Bard sudah ada, melainkan mengintegrasikannya ke 10 produk dengan 1 miliar pengguna

• Seluruh halaman web dan konten Gemini terasa aneh. Rasanya seperti mencoba terlihat dan terasa seperti materi pemasaran Apple, tetapi masuk ke uncanny valley
  Dari kata-kata yang dilebih-lebihkan, keberagaman ras/gender yang disetel seperti operasi presisi, animasi yang tidak perlu, sampai presentasi CEO bergaya sales, semuanya terasa seperti pemain kecil di bidang ini yang berusaha terlihat seperti pemain besar

  • Sekarang keynote OpenAI terasa seperti meniru keynote Google lima tahun lalu, dan keynote Google terasa seperti meniru keynote Apple lima tahun lalu
    Keynote Apple terlihat seperti robot-robot yang baru saja keluar dari uncanny valley dan berpura-pura menjadi manusia. Kalau lima tahun lagi keynote dibuat oleh AI, mungkin hasilnya akan seperti itu, jadi Apple memang selalu berada di depan bahkan dalam tren keynote
  • Saya merasakan hal yang sama. Nama seperti Ultra dan Pro juga begitu, dan mendeklarasikan era Gemini padahal belum bisa dipakai terasa norak
    Google sepertinya ingin terlihat berada di arena yang sama
  • Saya bisa membayangkan para product manager saling menepuk punggung karena sudah mencentang semua checkbox pamer, tanpa menyadari bahwa hal itu sendiri tampak seperti satire yang sempurna
  • Saya tidak paham apa maksud “keberagaman ras/gender yang disetel seperti operasi presisi” dan mengapa itu buruk
    Alasan pemasaran memakai keberagaman adalah karena pasar yang diinginkan itu sendiri beragam. Namun saya memang tidak begitu paham apa maksudnya “seperti operasi presisi”

• Fakta bahwa Sundar memberi prompt agar model mengatakan banyak fakta yang bisa benar/salah adalah sinyal bahaya besar
  Melihat angka benchmark yang dipublikasikan, sebagian besar hanya peningkatan tipis, yang berarti masalah halusinasi belum terselesaikan. Namun demonya tampak seolah-olah sudah terselesaikan. Pada akhirnya, menurut saya mereka terutama memilih kasus ketika model kebetulan benar atau memberikan informasi yang konsisten
  Meski kemampuannya dibesar-besarkan, untuk bisa berkonvergensi ke konsep yang konsisten tentang fenomena yang mungkin benar-benar teramati di berbagai modalitas, tampaknya memang akan dibutuhkan model multimodal. Ini kemajuan yang baik, tetapi sekarang mereka perlu menunjukkan secara meyakinkan bahwa struktur tertentu benar-benar memodelkan kausalitas

  • Dalam video promosi Mark Rober[1] juga ada adegan yang jelas-jelas mengajukan pertanyaan mengarahkan, saat ia bertanya mengapa pesawat kertas itu stall
    Kira-kira seperti, “Apakah kamu percaya kantong udara panas menciptakan tekanan rendah sehingga pesawatnya stall?” Pertanyaannya sendiri juga sangat canggung sampai sulit untuk diucapkan dengan benar. Sungguh memalukan
    [1] https://www.youtube.com/watch?v=mHZSrtl4zX0&t=277s
  • Masalah halusinasi tidak terselesaikan dengan pendekatan retrieval-augmented generation (RAG). Bahwa dibutuhkan struktur yang secara fundamental berbeda bukan kata saya, melainkan kata Yann LeCun
    Kalau mencobanya sendiri, ini mudah dipahami. Karena sifat autoregresifnya, LLM tidak bisa membangun model yang konsisten secara internal sebelum menjawab. Ada pendekatan seperti chain-of-thought, tetapi itu hanya solusi tambal-sulam dan hanya menangani masalah di permukaan
  • Setelah kritik “burung beo stokastik” dan “autocomplete superkuat”, pertanyaannya menjadi apakah halusinasi pada LLM pada prinsipnya bisa diselesaikan
    Jika bisa diselesaikan, itu akan menjadi sesuatu yang memiliki arti ilmiah yang sangat mendasar dan fundamental, serta tampaknya akan menjadi satu terobosan kecil lagi di AI
  • LLM seperti ini tidak memiliki konsep akurasi faktual, dan juga tidak dilatih atau dioptimalkan untuk itu. Lucu melihat orang berharap benda-benda ini bertindak seperti bot kuis; itu sepenuhnya salah memahami esensi LLM generatif
    Mereka hanya mengeluarkan urutan output yang terasa paling masuk akal setelah urutan input. Bagaimana mendefinisikan “paling masuk akal” adalah subjek banyak penelitian, tetapi mengoptimalkannya untuk akurasi faktual adalah hal yang sama sekali berbeda
    Dalam kasus tertentu seperti masalah coding, mereka bisa terlihat pintar, karena untuk prompt tertentu, konsensus kasar dari teks internet cukup dekat dengan fakta dan lebih sedikit tercemar konten sampah dari non-ahli. Mereka juga bagus untuk menghasilkan “konten” umum yang empuk, tetapi saya tidak tahu apa nilainya
    Pada akhirnya, kualitas informasi yang kembali tidak lebih baik daripada kualitas pencarian Google yang teliti; hanya saja ia memberikan jawaban yang lebih cepat, ringkas, dan tertata rapi
  • Saya rasa demo memang pada dasarnya semuanya agak seperti itu

• Saya tertipu. Pengumuman peluncuran modelnya mengatakan bahwa ia bisa menerima input multimodal berupa video dan audio
  Saya tahu ada banyak penyuntingan dan potongan, tetapi saya percaya bahwa saya sedang melihat contoh input video dan audio sungguhan. Peralihan dari teks dan gambar diam ke “mata dan telinga” adalah lompatan besar, jadi saya benar-benar kagum. Ada juga bagian menggambar alat musik lalu musik dihasilkan, sehingga saya mengira sedang melihat model yang membuat musik dari prompt bahasa seperti model-model khusus
  Ternyata semuanya palsu. Itu adalah dramatisasi yang menggabungkan contoh-contoh prompt engineering terpilih untuk memaksimalkan antusiasme pemegang saham. Contoh musiknya bukan menghasilkan musik yang kita dengar di video, melainkan hanya mengeluarkan deskripsi lagu
  Video berlebihan yang mengatakan “hal seperti ini bisa saja menjadi mungkin” sama sekali berbeda dari memanipulasi benchmark dan menipu demo sambil mengklaim bahwa model multimodal baru mereka adalah yang terbaik
  Google tampaknya sudah memasuki fase jahat. OpenAI dan Microsoft sepertinya akan cukup puas melihat ini

  • Tepat. Secara pribadi, saya menganggap keduanya baik-baik saja
    Demo berorientasi masa depan yang menunjukkan masa depan produk sambil menjelaskan bahwa mereka belum sampai ke sana tetapi sedang menuju ke arah itu, atau demo yang diberi skrip dan diedit agar fitur saat ini terlihat sebaik mungkin, adalah praktik standar dan bisa diterima
    Namun yang dilakukan Google itu benar-benar salah. Mereka pantas menerima reaksi keras atas hal ini
  • Penipuan moral dan perilaku tidak etis semacam ini entah mengapa ditoleransi
    Sepertinya investor memang ingin ditipu. Tidak ada ruang untuk uji tuntas, dan meski mendengar kebohongan mereka tetap berteriak kegirangan seperti penggemar Taylor Swift
  • “Fase”?
    Perusahaan-perusahaan besar seperti ini akan lolos selama mungkin dan sebanyak mungkin, sejauh mereka bisa lolos. Nuansanya seolah-olah tugas kita hanya menunggu sampai suatu hari mereka berbaik hati memberi kita “fase tidak jahat”, padahal kenyataannya kita harus memulihkan regulasi antimonopoli yang telah dibongkar secara sistematis selama 30 tahun terakhir
  • Saya juga mengira ia bisa menerima video sebagai input
    Karena jumlah data video sangat besar, saya memperkirakan ia akan mengekstrak kira-kira satu frame per detik untuk diproses sebagai gambar, tetapi input awalnya tetap berupa video utuh
    Ternyata bahkan itu pun bukan
  • Ini mengingatkan saya pada video yang menggambarkan departemen riset terdepan di dalam Google sebenarnya adalah studio animasi. Andai saya bisa mengingat video apa itu
    Membuat video berlebihan seperti ini demi memuaskan pemegang saham membuat orang kehilangan kepercayaan pada divisi riset. Rasanya mereka tidak melakukan hal seperti ini saat mengumumkan Bert

• Saya sudah memakai input Swype sejak era T9
  Kalau saya mendemokan input Swype persis seperti cara saya memakainya sehari-hari kepada orang yang terbiasa dengan keyboard QWERTY, tidak akan ada yang mengadopsinya
  Rasio kata yang ditebak salah atau perlu diperbaiki mungkin 10–20%. Tapi karena mudah diperbaiki, itu bukan masalah dan sama sekali tidak memperlambat. Dari berbagai metode input teks, secara pribadi ini yang terbaik, tetapi butuh waktu untuk belajar menggunakannya
  Menurut saya semua produk seperti ini. Kalau setelah 100 jam membiasakan diri dan menyesuaikan edge case lalu menunjukkan apa adanya bagaimana ia bekerja, tidak akan ada yang mengadopsi apa pun
  Karena keduanya buruk, saya tidak tahu solusinya apa
  Edit: saya sedang menulis di ponsel dengan Swype, jadi saya akan membiarkan typo apa adanya agar sesuai konteks ini

  • Menampilkan produk dalam kondisi terbaiknya dan mendemokan cara kerja yang sebenarnya tidak ada itu dua hal yang sama sekali berbeda
    Ini seperti demo keyboard Swype yang memasukkan kendali pikiran telepati untuk memperbaiki kesalahan
  • Apakah Swype membuat penyuntingan lebih mudah? Pemeriksa ejaan iOS nilainya negatif. Saya mematikannya beberapa tahun lalu dan kesalahan berkurang, tetapi tetap ada typo yang harus diperbaiki
    Sayangnya, penyuntingan teks iOS juga sepenuhnya tidak berguna. Ia memaksakan area seleksi yang aneh dan menyisipkan teks yang diperbaiki dengan cara yang canggung
    Saya mengetik pesan dengan QWERTY, tetapi input teks iOS benar-benar bencana dan makin buruk seiring waktu
  • Itu masalah yang berbeda dari halusinasi LLM
    Di Swype, kita sudah tahu seperti apa output yang benar. Kalau output tidak sesuai dengan yang diinginkan, kita langsung menyadari dan memperbaikinya
    Saat bertanya kepada LLM, kita belum tentu tahu jawaban yang benar. Jika output terlihat cukup meyakinkan, orang akan menerimanya sebagai kebenaran. Selain eksperimen dan pengujian, orang tidak menanyakan pertanyaan yang jawabannya sudah mereka ketahui kepada LLM
  • Intinya di sini adalah kecepatan koreksi sangat menentukan persepsi nilai jangka panjang dari teknologi antarmuka
    Ini juga alasan utama pengenalan tulisan tangan tidak menggantikan keyboard. Setelah tulisan tangan diubah menjadi teks, lebih mudah memperbaiki kesalahan dengan pointer dan keyboard. Setelah beberapa kali mengulang, kebanyakan orang akan berpikir, “lebih baik sejak awal pakai pointer dan keyboard saja supaya hemat waktu”
    Maka pertanyaannya adalah seberapa mudah menemukan dan memperbaiki kesalahan pada output AI generatif. Sayangnya, kecuali jika kita sudah tahu jawabannya, memilah kesalahan bisa sangat sulit
  • Saya tahu marketing ya marketing, tetapi menurut saya “demo” dengan cara yang sepenuhnya terlepas dari cara penggunaan nyata adalah bentuk yang buruk
    Keyboard Swype memang butuh latihan untuk dikuasai, tetapi demo metode input seperti itu biasanya menunjukkan penggunaan yang realistis, meski demonstratornya “ahli”
    Demo seperti ini membuat orang salah paham tentang apa yang sebenarnya bisa dilakukan produk, dan pada akhirnya memicu reaksi sinis yang tak terelakkan. Kalau produknya memang benar-benar hebat, demo fitur yang realistis saja sudah cukup untuk membuat orang melihatnya

• Halaman Bloomberg yang ditautkan di Twitter sekarang sudah diturunkan.[1] Halaman penggantinya adalah [2], dan halaman baru itu menyebut sebagian darinya palsu. Saya tidak menemukan halaman lama di arsip
  [1] https://www.bloomberg.com/opinion/articles/2023-12-07/google...
  [2] https://www.bloomberg.com/opinion/articles/2023-12-07/google...

  • Laporan TechCrunch punya detail lebih lengkap - https://techcrunch.com/2023/12/07/googles-best-gemini-demo-w...
  • Saya juga kesal dengan hal serupa ketika tokoh drama TV membalas pesan lebih cepat daripada kecepatan manusia mengetik. Itu merusak realisme komedi romantis favorit saya

• Ini tampaknya contoh bagus bahwa kita harus meragukan kepercayaan pada video, audio, gambar, dan marketing perusahaan yang tampak nyata, serta menganggapnya sebagai hasil generasi sampai terverifikasi
  Jika suara, email, chat, dan sebentar lagi video semuanya bisa dibuat secara real-time atau hampir real-time, saya penasaran bagaimana kita bisa yakin bahwa karyawan jarak jauh benar-benar bukan entitas yang sepenuhnya atau sebagian dihasilkan
  Untuk verifikasi, rahasia bersama itu bagus, tetapi apa solusinya ketika tubuh sepenuhnya berada jarak jauh?
  Saya sedang bepergian sekarang; bagaimana keluarga saya bisa memastikan bahwa orang yang mengirim permintaan Venmo sambil mengaku koper hilang itu memang saya?

  • Kalau tidak bisa memastikan apakah seorang karyawan itu AI, pecat saja dan gantikan dengan AI
  • PGP
  • Tanyakan informasi yang hanya diketahui orang sungguhan itu
  • Buat frasa/kata sandi untuk keadaan darurat, bagikan dengan keluarga, dan gunakan dalam situasi seperti ini
  • Ini juga alasan mengapa komunitas perlu bersuara ketika menangkap hal seperti ini. Karena mereka sedang merusak kepercayaan terhadap demo teknologi
    Kebohongan memang akan mengelilingi dunia sebelum kebenaran keluar dari garis start, tetapi bukan berarti kita boleh membiarkannya begitu saja

• Video itu sendiri dan deskripsinya memuat pernyataan penyangkalan dengan maksud seperti itu. Namun, saya setuju bahwa sebagian orang bisa pergi dengan pemahaman yang keliru tentang cara kerja Gemini.
  Semoga interaksi real-time segera menjadi bagian dari aplikasinya. Hambatan teknisnya tampaknya tidak terlalu banyak.

  • Seluruh pernyataan penyangkalan di video hanyalah “urutan secara keseluruhan dipersingkat” yang muncul dalam teks sangat kecil di bagian bawah layar selama 2 detik.
    Di tempat lain mereka memang mengungkap sebagian besar detailnya, tetapi video itu sendiri dibuat dan diedit dengan sangat menyesatkan. Mereka ingin orang percaya bahwa Gemini merespons secara kompleks terhadap prompt suara sederhana dan feed video, padahal kenyataannya tidak demikian.
  • Pernyataan penyangkalan di deskripsinya berbunyi “untuk demo ini, latensi dikurangi dan output Gemini dipersingkat agar ringkas.”
    Itu berbeda dengan “yang dimasukkan ke Gemini bukan video, melainkan gambar diam yang sudah dipilih.”
  • Orang tidak terlalu memperhatikan pernyataan penyangkalan. Google tahu orang akan mengingat kesan yang dilebih-lebihkan, bukan penyangkalannya, dan itulah pilihan mereka.
  • Tidak, pernyataan penyangkalan itu sama sekali tidak memadai.
    Video itu menipu banyak orang, termasuk saya. Ini bukan demo super-dioptimalkan dan berskrip yang biasa.
    Itu adalah iklan palsu yang jelas yang menampilkan fitur yang tidak ada, dan terus terang ini tindakan yang memalukan dari Google.
  • Iklan di Google Search juga hanya diberi label “Iklan” yang sangat kecil, dan sudah lama ada tren membuat iklan makin terang-terangan sekaligus makin sulit dibedakan.
    Dengan mempertimbangkan konten buatan AI dan konteks manipulasi secara umum, menurut saya video ini menipu. Satu-satunya hal yang mengesankan bagi saya dari video itu adalah responsivitas yang cepat dan fleksibel seolah-olah memproses video secara real-time, tetapi tidak ada satu pun dari itu yang nyata. Hampir seperti penipuan.

• Saya juga tertipu hingga mengira Gemini melihat dan mendengar melalui feed video/audio, bukan menerima gambar diam dan prompt teks.
  Perbedaan antara gambar diam dan feed video mungkin tidak terlihat besar, tetapi dalam praktiknya bot harus memahami banyak konteks yang berubah agar tidak terus-menerus mengoceh bodoh.
  Selain itu, dalam percakapan dengan feed video real-time, bot harus mengenali keadaan belum tahu agar bisa diam pada saat yang tepat, dan ini terkenal sulit dalam AI generatif.
  Tentu saja beberapa hack dan heuristik bisa ditambahkan untuk membuatnya lebih mudah, tetapi membuat bot tampak seperti partner manusia dalam percakapan itu sangat sulit. Itulah bagian paling mengesankan dari “percakapan” dalam video tersebut, tetapi sayangnya semuanya palsu :(