- OpenAI menghadirkan percakapan suara dan input gambar ke ChatGPT secara bertahap, sehingga pengguna bisa melampaui input teks dengan berbicara dan menunjukkan foto saat mengajukan pertanyaan
- Fitur suara dapat digunakan setelah opt-in di aplikasi mobile, dengan pilihan 5 suara, dan Whisper mengubah ucapan pengguna menjadi teks
- Fitur gambar menangani foto, tangkapan layar, serta dokumen yang menggabungkan teks dan gambar, dan di aplikasi mobile pengguna dapat menandai area tertentu dengan alat gambar
- Fitur ini lebih dulu dirilis untuk pengguna Plus dan Enterprise selama 2 minggu, dengan suara tersedia di iOS dan Android, serta gambar tersedia di semua platform
- Karena ada risiko seperti sintesis suara yang realistis, interpretasi gambar manusia, dan ketergantungan di bidang berisiko tinggi, OpenAI menerapkan peluncuran terbatas beserta pengaman
Cara input baru di ChatGPT: bicara, tunjukkan, lalu bertanya
- ChatGPT memperkenalkan kemampuan agar pengguna bisa berbicara dengan suara atau menunjukkan gambar saat bertanya
- Fitur baru ini berfokus pada penggunaan ChatGPT yang lebih intuitif, tidak hanya bergantung pada input keyboard
- Contoh penggunaan meliputi
- Memotret landmark saat bepergian lalu menanyakan hal menarik tentangnya lewat percakapan real-time
- Menunjukkan foto kulkas dan pantry lalu menanyakan menu makan malam serta resep langkah demi langkah
- Memotret soal matematika anak, melingkari set soal tertentu, lalu meminta petunjuk
Pengguna dan platform yang mendapat akses lebih dulu
- Pengguna Plus dan Enterprise akan bisa memakai fitur suara dan gambar dalam 2 minggu ke depan
- Fitur suara tersedia di iOS dan Android, dan harus diaktifkan lewat opt-in di pengaturan
- Fitur gambar tersedia di semua platform
- Setelah itu, cakupan akses direncanakan akan diperluas ke kelompok pengguna lain, termasuk developer
Cara kerja fitur suara
- Pengguna dapat melakukan percakapan suara bolak-balik dengan ChatGPT
- Mengobrol saat sedang bepergian
- Meminta dongeng sebelum tidur untuk keluarga
- Menyelesaikan perdebatan di meja makan termasuk di antaranya
- Untuk memulai suara di aplikasi mobile, pengguna harus mengaktifkan percakapan suara di Settings → New Features
- Tekan tombol headphone di kanan atas layar utama, lalu pilih suara yang disukai dari 5 suara yang tersedia
- Fitur suara baru ini menggunakan model text-to-speech yang dapat menghasilkan audio mirip manusia hanya dari teks dan beberapa detik contoh suara
- Setiap suara dibuat OpenAI lewat kerja sama dengan pengisi suara profesional
- Ucapan pengguna diubah menjadi teks oleh Whisper, sistem pengenalan suara open-source dari OpenAI
Cara kerja fitur gambar
- Pengguna dapat menunjukkan satu atau beberapa gambar ke ChatGPT lalu melanjutkan percakapan
- Input gambar dapat dipakai untuk tugas seperti
- Memeriksa alasan grill tidak menyala
- Merencanakan makanan dengan melihat isi kulkas
- Menganalisis grafik kompleks yang berisi data kerja
- Untuk mengarahkan fokus ke area tertentu, pengguna dapat memakai alat gambar di aplikasi mobile
- Untuk menambahkan gambar, tekan tombol foto untuk mengambil atau memilih gambar
- Di iOS dan Android, pengguna harus lebih dulu menekan tombol plus
- Beberapa gambar bisa dibahas bersama, atau alat gambar bisa dipakai untuk menunjukkan bagian yang perlu dilihat assistant
- Pemahaman gambar ditangani oleh multimodal GPT‑3.5 dan GPT‑4
- Model-model ini menerapkan kemampuan penalaran bahasa ke berbagai jenis gambar, termasuk foto, tangkapan layar, dan dokumen yang menggabungkan teks serta gambar
Peluncuran bertahap dan pengaman
- OpenAI memilih pendekatan peluncuran bertahap agar peningkatan dan mitigasi risiko bisa berjalan bersama
- Pada model canggih yang mencakup suara dan visi, potensi penyalahgunaan nyata lebih besar sehingga strategi ini menjadi makin penting
-
Risiko dan batasan terkait suara
- Teknologi suara baru ini dapat membuat suara sintetis yang realistis hanya dari beberapa detik suara asli
- Teknologi ini memungkinkan penggunaan kreatif dan aplikasi yang berfokus pada aksesibilitas, tetapi juga membawa risiko seperti penyamaran tokoh publik atau penipuan
- OpenAI menggunakan teknologi ini untuk kasus penggunaan spesifik, yaitu voice chat
- Voice chat dibuat menggunakan suara para pengisi suara yang bekerja langsung dengan OpenAI
- Spotify menggunakan teknologi ini dalam pilot Voice Translation
- Fitur ini menerjemahkan podcast ke bahasa tambahan dengan suara podcaster aslinya, sehingga memperluas jangkauan storytelling
- Tautan terkait: Voice Translation
-
Risiko dan batasan terkait input gambar
- Model berbasis visi menghadirkan tantangan baru seperti halusinasi tentang manusia dan masalah ketergantungan pada interpretasi gambar di bidang berisiko tinggi
- OpenAI menguji model ini dengan red team dan berbagai alpha tester sebelum peluncuran yang lebih luas
- Area pengujian mencakup bidang berisiko seperti ekstremisme dan kecakapan ilmiah
- Kerja sama dengan Be My Eyes digunakan untuk memahami cara penggunaan gambar dan batasannya
- Be My Eyes adalah aplikasi mobile gratis untuk penyandang tunanetra dan low vision
- Pengguna menganggap berguna kemampuan untuk melakukan percakapan umum tentang gambar yang berisi manusia, misalnya ketika seseorang muncul di latar belakang TV
- Karena ChatGPT tidak selalu akurat dan privasi individu juga harus dihormati, OpenAI menerapkan langkah teknis yang sangat membatasi kemampuan ChatGPT untuk menganalisis manusia dan membuat pernyataan langsung tentang mereka
- Penggunaan nyata dan umpan balik dipakai untuk menyempurnakan pengaman sambil mempertahankan kegunaan alat ini
Keterbatasan model dan kehati-hatian penggunaan
- Pengguna bisa jadi mengandalkan ChatGPT untuk topik profesional seperti riset, sehingga penting memahami keterbatasan model dan menghindari penggunaan berisiko tinggi tanpa verifikasi
- Model ini mahir dalam transkripsi teks bahasa Inggris, tetapi performanya lebih rendah pada beberapa bahasa lain, terutama sistem tulisan non-Latin
- OpenAI tidak menyarankan pengguna non-Inggris memakai ChatGPT untuk tujuan ini
- Pendekatan keamanan untuk input gambar dan pekerjaan terkait Be My Eyes dapat dibaca lebih lanjut di system card for image input
1 komentar
Opini Hacker News
Antarmuka suara punya potensi luar biasa, tetapi demo ini cukup mengecewakan karena, seperti asisten suara lain yang kurang bagus, ada jeda beberapa detik antara pertanyaan dan jawaban
Sebenarnya tidak harus seperti ini. Demo lokal yang dibuat dengan Llama 2 merespons dalam sekitar 0,5 detik, sehingga rasanya lebih seperti berbicara dengan orang sungguhan daripada seperti Siri
Memang perlu dikemas agar bisa dicoba orang, tetapi ada masalah bahwa menilai apakah pengguna sudah selesai berbicara itu sulit. Sistem pengenalan suara siap pakai tidak memiliki dataset dan model turn-taking percakapan, dan perusahaan seperti OpenAI sepertinya bisa membuatnya dengan mudah
Latensi pulang-pergi penuh—dari speech-to-text, LLM, POS untuk validasi SKU, hingga menghasilkan suara kembali—berada di kisaran ratusan milidetik. Karena ada validasi SKU, halusinasi juga tidak mungkin terjadi, dan pada tingkat ini rasanya cukup alami. Jika latensi serendah ini bisa dijadikan sistem umum, tampaknya akan membuka banyak sekali aplikasi
Jika itu memungkinkan, saat saya berhenti sejenak ia bisa mulai berbicara dengan hati-hati, lalu segera berhenti jika saya lanjut berbicara
Saya tidak ingin harus memikirkan cara menyusun interaksi seperti rantai panggil/jawab yang eksplisit, dan saya juga tidak suka harus berhati-hati agar terus berbicara sampai pikiran saya selesai karena khawatir sistem bertindak pada waktu yang salah
Interupsi yang sopan, atau ketiadaannya, bisa menjadi penanda apakah kita sedang berbicara dengan AI
Dari pengalaman saya, kecuali memakai model kecil seperti 7B, waktu generasi ChatGPT jauh lebih cepat daripada Llama lokal
Ada sangat banyak informasi dalam intonasi yang tidak ada pada teks murni. AI yang tidak memahami bagian bahasa itu, sepintar apa pun, akan tetap terasa agak bodoh
Contoh sepeda itu lucu dan mengesankan, tetapi interaksi dengan manusia tampaknya mengaburkan kemungkinan yang lebih besar
Dengan sedikit penyesuaian, ini menjadi pemecah masalah serbaguna untuk perencanaan robot. Masih ada beberapa masalah sulit sebelum sampai pada solusi yang benar-benar berfungsi, tetapi salah satunya sudah terpecahkan
Apakah dalam 5 tahun ke depan kita akan melihat robot serbaguna yang digerakkan ChatGPT melakukan pekerjaan kasar sederhana?
Selain itu, saya juga penasaran apakah ini model visi yang sama yang sudah ada di Bing Chat
https://www.deepmind.com/blog/rt-2-new-model-translates-visi...
Seseorang yang memiliki kotak perkakas dan manual mengajukan pertanyaan yang sangat mendasar tentang cara menurunkan sadel sepeda. Siapa juga yang punya manual sepeda, dan anak saya yang berusia 5 tahun pun bisa melakukannya
Pasti ada cara yang lebih baik untuk menunjukkan dampak terobosan AI bagi umat manusia. Bahkan cara mengikat tali sepatu pun mungkin lebih baik
Ini juga tidak cocok untuk robot kecil dan ringan seperti drone
Dengan pengumuman ini, sepertinya cukup banyak startup yang mencoba membuat multimodal di atas ChatGPT jadi mati langkah
Melihat kecepatannya menangani use case gambar dan suara, tidak lama lagi ini bisa menjadi satu aplikasi yang menguasai segalanya
Sudah terlihat pengganti Alexa/Siri/Google Home, pengganti Google Image Search, dan runtuhnya startup edutech yang memotret soal lalu menyelesaikannya dengan AI; tampaknya akan berlanjut
Tidak bisa dibilang OpenAI terang-terangan membocorkan niatnya, tetapi pertanyaan strategis pertama seharusnya adalah “Mengapa OpenAI belum melakukan ini, dan jika mereka memutuskan melakukannya, apa yang akan kita lakukan?”
Sepanjang musim panas, saya ingin lebih banyak belajar bahasa Prancis, teori musik, sejarah, matematika, dan semacamnya sambil “berbicara” dengan ChatGPT. Fitur ini sepertinya pas sekali
Keduanya akan sering berjalan bersama
Aplikasinya sudah punya input suara. Untuk saat ini suara masih diubah menjadi teks sebelum dikirim, tetapi hasilnya begitu bagus sampai hampir tidak perlu diperiksa atau dikoreksi. Malah saya sampai bertanya-tanya mengapa ia belum menjawab dengan suara
Fitur input gambar adalah bagian inti dan sorotan pengumuman GPT-4 pada Maret: https://openai.com/research/gpt-4
Banyak perusahaan, pemerintah, dan lainnya tidak bisa memakai OpenAI, yang mengirim data ke layanan pihak ketiga, karena kebijakan internal mereka. Mereka akan bersedia membayar untuk sesuatu yang bisa dijalankan on-premises atau di private cloud mereka sendiri
Ini akan menjadi belati yang membuat pendidikan online mustahil
Dengan ChatGPT saja, jika menyalin-tempel soal teks profesional, kita sudah bisa mendapat jawaban dengan akurasi 90%. Satu-satunya kelemahannya adalah soal yang berisi diagram atau gambar
Jika dukungan gambar hadir, siswa tinggal mengunggah screenshot atau hasil scan dokumen dan meminta jawaban yang valid dari ChatGPT. Menurut saya, banyak siswa akan dengan senang hati menyalahgunakan fitur ini. Untuk menghadapinya, kita harus membuang sistem penilaian, atau memaksa pendidikan tatap muka di mana tugas hanya dikerjakan di sekolah di bawah pengawasan, tanpa PR
Kegunaan terbesar ChatGPT bagi saya adalah belajar sendiri berbagai topik. Kita bisa menggunakannya seperti seminar Sokratik, dengan mengajukan pertanyaan kepada ChatGPT untuk mempelajari X
Tentu ini akan mengubah drastis kemampuan siswa membuat PR, tetapi sejak awal ini juga bisa mengubah drastis cara siswa belajar. Dengan tutoring berbantuan AI, sekolah online bisa menjadi jauh lebih banyak daripada sekarang
Ke depan, tampaknya mungkin ada masa depan ketika pendidikan jauh lebih terdesentralisasi, siswa memilih sendiri kurikulum dan metodenya, serta memiliki rasa kepemilikan dan kendali atas pekerjaannya sehingga tidak melihatnya sekadar sebagai “pekerjaan sibuk”
Jika talenta terbaik di zaman kita telah memutuskan bahwa demi kemajuan spesies, yang terbaik adalah manusia digantikan mesin, saya jadi bertanya-tanya apa gunanya mengerjakan tugas sekolah
Jika sekarang saya berusia 16 tahun, mengetahui rencana ChatGPT dan OpenAI, mendengar nasihat untuk belajar keras agar mendapat pekerjaan bagus, sekaligus membaca masa depan yang dilihat para teknokrat, itu pasti cukup membingungkan
Tampaknya sangat sulit untuk tetap ingin belajar sekarang sambil tidak berbuat curang
Dalam kelas online, apa perlunya melihat video manusia? Apa perlunya meminta siswa menghasilkan sesuatu di ruangan gelap?
Penilaian siswa akan didasarkan bukan pada PR, melainkan pada percakapan antara siswa dan asisten AI. Mengajar bisa diotomatisasi, tetapi belajar tidak bisa diotomatisasi
Saat ini hanya ada jeda waktu karena pendidikan belum mengejar, dan karena pendidikan mahal, ini akan cepat terselesaikan. Orang tua harus benar-benar mendorong anak-anak berlatih belajar seperti dulu, dan ChatGPT sebaiknya digunakan seperti Wikipedia. Dalam proses transisi, satu generasi akan menderita
Kebutuhan spesifik yang ingin mereka selesaikan adalah menyingkirkan PR atau esai agar bisa melakukan XYZ. Mungkin ChatGPT tidak akan digunakan untuk XYZ. Kalau begitu, jadikan itulah hal yang mereka habiskan waktunya
Pada titik tertentu, mereka akan menelusuri mundur keterampilan yang dibutuhkan untuk mempelajarinya, dan membutuhkan bimbingan serta struktur pendidikan. Itu tidak mudah dan tidak akan terjadi tanpa waktu dan sumber daya, tetapi adaptasi akan berjalan seperti itu
Ada cara untuk membuat kecurangan menjadi cukup sulit sampai tidak sepadan. Namun teknologi ini akan sangat mengubah apa yang kita pelajari dan bagaimana kita mempelajarinya. Ini transformatif, dan kecepatannya tidak melambat
Saya tidak suka cara mereka menonaktifkan fitur chat penjelajahan web, yaitu Bing browsing, selama berbulan-bulan lalu diam-diam menghapusnya
Akan lebih baik kalau ada pemberitahuan yang jelas bahwa fitur itu akan dihapus. Mungkin saya yang terlewat, tetapi kabar resmi terakhir adalah fitur itu dinonaktifkan sementara selagi mereka memperbaiki sesuatu. Begitu sadar, fitur itu sudah benar-benar hilang dari platform tanpa sepatah kata pun
Namun Perplexity AI lebih baik daripada ChatGPT dalam memanfaatkan pencarian web, jadi karena alasan itu saya lebih sering memakainya daripada ChatGPT
Bukan sebagai plugin, melainkan sebagai “model” terpisah yang bisa dipilih
Sejauh ini, pengalaman pengguna yang paling intuitif dan terasa seperti killer app tampaknya adalah chat teks
Berinteraksi sambil menunjukkan gambar juga menarik karena terasa seperti mengobrol dengan teman tentang suatu topik, tetapi masih harus dilihat apakah rasanya seperti berbicara dengan orang yang sangat pintar seperti ChatGPT, atau seperti berbicara dengan orang yang sangat lamban yang hanya agak bisa mengenali objek
Mengenali kunci inggris tidak semengesankan mengobrol dengan ChatGPT tentang sejarah atau memintanya menulis kode yang benar-benar berjalan
OpenAI sudah melakukan hal yang baik. Orang-orang memikirkan berbagai use case menarik, tetapi cara utama kebanyakan orang berinteraksi dengan AI tampaknya masih ChatGPT
Namun untuk generasi gambar, sepertinya mereka belum benar-benar menguasainya, dan hal-hal keren terus muncul dari MidJourney dan Stable Diffusion
Bahkan tampaknya mampu memasukkan teks kalimat lengkap ke dalam gambar keluaran
Saya sedang membuat beberapa proyek hobi yang menggabungkan berbagai layanan AI untuk mengimplementasikan hal ini, jadi saya antusias kalau kompleksitas dan latensi dari bolak-balik berkali-kali bisa berkurang
Jika API-nya keluar tepat waktu, yaitu sekitar Halloween, sisi software dari proyek multimodal kepala tengkorak yang bisa bicara dengan kamera ESP32 yang mengomentari kostum orang dengan sinis mungkin akan sedikit lebih mudah
Dari sudut pandang orang yang mendalami otomatisasi pengujian software, yang saya tunggu adalah pengenalan gambar berbasis AI yang tangguh untuk antarmuka pengguna aplikasi
Jika digabungkan dengan kemampuan AI menulis kode otomatisasi pengujian, saya berharap hanya dari satu screenshot atau urutan screenshot saja bisa dihasilkan kode pengujian Selenium atau Appium yang dapat dijalankan. Rasanya sudah hampir sampai
Mereka mengatakan memiliki dataset layar-aksi-layar secara internal, tetapi sepertinya tidak akan dipublikasikan. Mungkin inilah keuntungan memiliki Android
Ada juga makalah terbaru dari Hugging Face, IDEFICS[2]. Mereka mengklaim ini adalah implementasi open-source dari makalah lama tentang Flamingo, yaitu pemahaman tugas multimodal berbasis few-shot example. Sepertinya bidang ini akan segera memanas
[1] https://research.google/pubs/pub52171/
[2] https://huggingface.co/blog/idefics
Keluhan terbesar saya terhadap OpenAI/ChatGPT adalah marketing yang buruk
Ketika mereka mengumumkan fitur atau plugin seperti ini, saya jadi berharap dan pergi mencobanya, tetapi ternyata belum digulirkan untuk saya. Sebagai pelanggan berbayar, itu membuat frustrasi, dan satu-satunya yang bisa saya lakukan hanyalah mengeceknya setiap hari
Mereka juga tidak mengirim email seperti “plugin sudah tersedia” atau “chat suara sudah diaktifkan di akun Anda”, sehingga saya sering lupa pada fitur baru sampai kebetulan melihatnya lagi nanti
Barusan saya membuka aplikasi dan masuk ke “New Features” di pengaturan, ternyata Bing Browsing dinonaktifkan. Saya bahkan tidak tahu fitur itu pernah berfungsi. Saya pikir mungkin aplikasinya perlu diperbarui, jadi saya ke App Store, tetapi ternyata sudah versi terbaru. Setelah saya menutup dan membuka ulang aplikasi, sekarang item “New Features” itu sendiri hilang
Saya tidak akan rutin mengobrak-abrik pengaturan aplikasi untuk mengecek apakah ada fitur baru. Benar-benar sulit dipahami kenapa tidak ada pesan di dalam aplikasi, apalagi email atau push notification
Saya tidak bilang mereka tidak peduli pada komunikasi dengan pelanggan, tetapi bagian dalamnya mungkin benar-benar kacau dan berantakan
Untuk mulai memakai API, saya benar-benar harus membatalkan langganan lalu mendaftar lagi. Mungkin saya masih berada di revisi model penagihan lama
Saya suka perusahaan yang sukses bukan karena marketing dan desain, melainkan terlepas dari itu semua. Artinya mereka punya sesuatu yang benar-benar istimewa
Kalau Anda pergi begitu saja dan melupakannya, mereka perlu meningkatkan retensi, tetapi Anda tidak akan begitu, jadi mereka tidak perlu melakukannya
Saya tidak paham bagaimana semua ini bisa dipaketkan dengan harga 20 dolar per bulan. Apakah biaya komputasinya benar-benar semurah itu ketika skalanya membesar?
Saya juga penasaran bagaimana Apple dan Google akan menyediakan ini secara gratis. Rasanya ingin menyelinap seperti lalat ke rapat itu. Mereka pasti akan banyak berdiskusi seperti dilema inovator, antara “harus dilakukan” dan “menggerus margin”
Mungkin ini pemikiran yang agak jauh, tetapi Apple tampaknya mengambil pilihan yang tepat dengan membiarkan debu mereda dulu. Seperti Zuckerberg yang membakar 20 miliar dolar lalu Apple meluncurkan Vision Pro, saya melihat hal serupa bisa terjadi pada Llama. Hanya saja, saya kurang yakin karena software adalah medan utama Facebook, sedangkan hardware bukan
Namun jika mempertimbangkan investasi 10 miliar dolar dari Microsoft serta pendapatan langganan dan API, untuk saat ini masih baik-baik saja. Ini momen penting bagi perusahaan AI, dan OpenAI pada dasarnya sedang berusaha merebut pangsa pasar sebanyak mungkin dengan menawarkan nilai 10 kali lipat pada harga yang lebih rendah dibanding model komersial lain
Modal ventura mensubsidi dominasi pasar
Coba pikirkan berapa biaya yang harus dibayar untuk mempekerjakan tester berskala besar