OpenAI Merilis GPT‑Live
(openai.com)- OpenAI merilis GPT‑Live‑1 dan GPT‑Live‑1 mini untuk membuat ChatGPT Voice terasa lebih seperti percakapan real-time yang alami
- Dengan arsitektur full-duplex, model memproses mendengar dan berbicara secara bersamaan, mendukung respons singkat, percakapan cepat bolak-balik, serta perilaku menunggu saat pengguna sedang berpikir
- Metode suara lama yang berbasis cascade dan turn-based memiliki masalah latensi, hilangnya informasi, serta interupsi yang tidak alami; GPT‑Live berupaya mengurangi batasan ini melalui interaksi berkelanjutan
- Pencarian, penalaran, dan tugas kompleks didelegasikan di belakang layar ke model terbaru seperti GPT‑5.5, sementara GPT‑Live tetap menjaga percakapan berlangsung
- Diluncurkan di iOS, Android, dan ChatGPT.com; GPT‑Live‑1 menjadi model default ChatGPT Voice untuk Go, Plus, dan Pro, sedangkan GPT‑Live‑1 mini menjadi model default untuk Free
Struktur percakapan suara yang diubah GPT‑Live
- GPT‑Live adalah generasi baru model suara untuk membuat percakapan suara AI lebih mirip percakapan antarmanusia sungguhan
- Intinya adalah arsitektur full-duplex yang dapat mendengar dan berbicara secara bersamaan selama percakapan
- Saat pengguna berbicara, model dapat menunjukkan bahwa ia mendengarkan dengan respons singkat seperti “mhmm” dan “yeah”
- Menangani percakapan bolak-balik yang cepat
- Dapat menunggu dengan diam saat pengguna membutuhkan waktu untuk berpikir
- Struktur ini membuat ChatGPT Voice lebih alami, dan dalam jangka panjang memungkinkan suara ditambahkan ke tugas agentic yang lebih kompleks dan memakan waktu lebih lama
Keterbatasan metode ChatGPT Voice sebelumnya
- Sistem suara berbasis cascade seperti ChatGPT Voice awal memproses satu ujaran dengan menghubungkan beberapa model secara berurutan
- original ChatGPT Voice menggabungkan model yang mengubah suara menjadi teks, model bahasa besar yang membuat respons, dan model yang mengubah teks menjadi suara
- Ini memungkinkan percakapan suara dengan frontier AI model, tetapi informasi dapat hilang di antara model, dan respons bisa menjadi lambat atau kaku
- Model suara turn-based seperti ChatGPT Advanced Voice Mode memproses dan menghasilkan audio di dalam satu model sehingga mengurangi latensi
- Namun tetap bekerja dengan struktur giliran, yaitu baru merespons setelah pengguna berhenti berbicara
- Karena deteksi giliran berbasis keheningan, jeda singkat atau kebisingan latar dapat keliru dikenali sebagai akhir giliran
- Dalam kasus ini, model dapat menyela pada waktu yang tidak alami
Interaksi berkelanjutan dan delegasi tugas
- Alih-alih memproses pesan terpisah satu per satu, GPT‑Live terus menerima input sambil menghasilkan output
- Model membuat keputusan interaksi beberapa kali per detik
- Apakah akan berbicara
- Apakah akan terus mendengarkan
- Apakah akan berhenti sejenak
- Apakah akan menyela
- Apakah akan memanggil alat
- Cara ini memungkinkan percakapan bolak-balik yang lebih alami, rasa waktu yang lebih baik, dan penerjemahan real-time
- Pekerjaan mendalam diproses secara terpisah dari GPT‑Live
- Pertanyaan yang membutuhkan pencarian, penalaran, atau kemampuan yang lebih agentic dapat didelegasikan ke model lain seperti GPT‑5.5
- Bahkan saat beberapa pekerjaan diproses di belakang layar, GPT‑Live tetap melanjutkan percakapan
- Ini adalah struktur yang menggabungkan pemanfaatan model dan agen terbaru dengan interaksi suara yang alami
Versi model dan rencana peluncuran
- OpenAI mulai meluncurkan dua versi, GPT‑Live‑1 dan GPT‑Live‑1 mini, secara bertahap kepada pengguna ChatGPT di seluruh dunia
- Penyediaan API juga direncanakan, dan developer serta perusahaan dapat mendaftar notifikasi melalui form
- Saat peluncuran, GPT‑Live menggunakan GPT‑5.5 di latar belakang
- GPT‑Live‑1 instant dan GPT‑Live‑1 mini menggunakan model GPT‑5.5 Instant
- GPT‑Live‑1 Medium dan GPT‑Live‑1 High masing-masing menggunakan model GPT‑5.5 Thinking dengan upaya penalaran medium dan high
- OpenAI berencana terus memperbarui model latar belakang yang digunakan GPT‑Live ketika model frontier baru dirilis
Hasil evaluasi
- OpenAI membuat evaluasi manusia baru untuk mengukur kesenangan dan alur percakapan
- Dalam percakapan terstruktur berdurasi 5–10 menit, GPT‑Live‑1 dan GPT‑Live‑1 mini lebih disukai secara kuat dibanding Advanced Voice Mode
- Preferensi keseluruhan
- Pergantian giliran
- Interupsi
- Alur percakapan
- Kealamian interaksi
- GPT‑Live‑1 menunjukkan hasil yang lebih baik daripada Advanced Voice Mode di beberapa benchmark
- GPQA: menguji penalaran sains tingkat pakar di bidang biologi, kimia, dan fisika; GPT‑Live‑1 unggul jauh
- BrowseComp: menguji pencarian web agentic dan kemampuan menemukan informasi yang sulit dicari; GPT‑Live‑1 menunjukkan peningkatan besar
- τ³-Voice Telecom: varian internal yang menguji agen suara dalam tugas dukungan operator telekomunikasi multi-turn yang realistis; GPT‑Live‑1 menghasilkan performa lebih baik
- Evaluasi τ³-Voice Telecom menggunakan model pengguna kustom yang digerakkan oleh model penalaran terbaru
Pengalaman yang berubah di ChatGPT Voice
- Lebih dari 150 juta orang setiap minggu berbicara dengan ChatGPT melalui fitur seperti Voice dan Dictation
- Pengguna memakai suara untuk bantuan harian hands-free, latihan bahasa, cerita sebelum tidur, percakapan saat perjalanan pergi-pulang, dan lainnya
- Saat menekan tombol Voice, pengalaman berbasis GPT‑Live akan diterapkan
- Percakapan yang lebih alami
- Jawaban yang lebih cerdas
- Mendengarkan dengan lebih baik
- Respons visual
- Pengguna dapat menyela dengan pertanyaan, berhenti sejenak untuk merapikan pikiran, atau meminta ChatGPT berbicara lebih pelan
- ChatGPT dapat menunjukkan bahwa ia mengikuti ucapan pengguna dengan respons seperti “mhmm” dan “got it”
- Sembilan suara khas ChatGPT telah di-remaster agar sesuai dengan GPT‑Live
- Pengguna dapat memilih tingkat penalaran
- Instant: respons cepat
- Medium dan High: membuat ChatGPT berpikir lebih lama
- ChatGPT Voice dapat menunggu tanpa menyela saat pengguna berpikir sejenak
- Jika pengguna meminta untuk mendengarkan dengan diam, ChatGPT dapat mengikutinya
- Meski ada kebisingan latar seperti kendaraan yang lewat atau percakapan sekitar, model lebih mampu berfokus pada suara pengguna
- Beberapa topik seperti cuaca, saham, dan olahraga dapat ditampilkan sebagai kartu visual kaya selama percakapan
- Voice tetap mendukung pencarian, memori, gambar, dan unggahan file
Pengaman dan pemantauan
- GPT‑Live dibangun di atas peningkatan keamanan model terbaru, serta menambahkan pelatihan keamanan khusus suara dan pengaman baru
- OpenAI memperluas evaluasi berbasis audio agar lebih mencerminkan lingkungan penggunaan suara nyata
- Berdasarkan pembelajaran dari Advanced Voice Mode, OpenAI juga membuat evaluasi sintetis yang menggunakan audio generatif
- Menyakiti diri sendiri
- Psikosis dan mania
- Ketergantungan emosional pada AI
- Kekerasan
- Konten seksual
- Para pakar internal melakukan pengujian red-team yang menargetkan risiko khas suara
- Dalam pengujian, GPT‑Live berkinerja setara atau lebih baik daripada Advanced Voice Mode di hampir semua area yang dievaluasi
- Detail pengujian dan pengaman dapat dilihat di system card GPT‑Live
- Karena percakapan suara berlangsung secara real-time, pengaman tambahan yang bekerja bahkan saat model sedang berbicara juga ditambahkan
- Jika mendeteksi output yang berpotensi tidak aman, model diarahkan ke respons yang lebih aman
- Dapat menampilkan pesan keselamatan atau sumber daya tambahan
- Dalam situasi berisiko lebih tinggi, percakapan suara dapat diakhiri
- Untuk percakapan terkait menyakiti diri sendiri, alur dukungan ChatGPT disesuaikan untuk suara, termasuk dukungan hotline krisis yang telah ditinjau pakar
- Perlindungan tambahan untuk pengguna remaja juga dirancang
- Mengurangi risiko respons yang tidak pantas dengan melatih langsung perilaku yang sesuai usia pada model
- Orang tua dapat memilih apakah remaja boleh menggunakan ChatGPT Voice melalui Parental Controls
- Orang tua yang terhubung dapat menerima notifikasi dalam situasi berisiko tinggi yang menunjukkan potensi tanda menyakiti diri sendiri atau niat bunuh diri
- Pengukuran jangka panjang yang berfokus pada ketergantungan emosional dan pemantauan pascapeluncuran juga dilakukan
- Berdasarkan studi sebelumnya tentang affective use and emotional well-being
- Digunakan untuk mengidentifikasi pola baru dalam interaksi yang sensitif secara emosional dan memperbaiki cara merespons
- GPT‑Live adalah model untuk percakapan dan bukan untuk peniruan suara
- Menggunakan set suara yang telah ditentukan sebelumnya milik ChatGPT
- Memiliki pengaman agar tidak meniru suara orang sungguhan
Cakupan dukungan dan batasan saat ini
- GPT‑Live sedang diluncurkan kepada pengguna ChatGPT di seluruh dunia di iOS, Android, dan ChatGPT.com
- GPT‑Live‑1 menjadi model default ChatGPT Voice untuk pengguna Go, Plus, dan Pro
- GPT‑Live‑1 mini menjadi model default untuk pengguna Free
- Cakupan ketersediaan lebih rinci dapat dilihat di Help Center
- GPT‑Live dioptimalkan untuk beberapa bahasa yang banyak digunakan di ChatGPT
- Di beberapa bahasa, mungkin ada celah pada aksen non-penutur asli atau kelancaran
- OpenAI sedang berupaya meningkatkan pengalaman di berbagai bahasa
- Saat peluncuran, ChatGPT belum mendukung video berbasis suara atau berbagi layar
- OpenAI sedang berupaya menghadirkan fitur tersebut dalam waktu dekat
- Fitur tersebut tetap dapat digunakan di versi ChatGPT Voice yang sudah ada seperti Standard dan Advanced Voice Mode
1 komentar
Komentar Hacker News
Sudah mencobanya lebih awal selama beberapa minggu dan hasilnya cukup bagus. Saya pernah melakukan percakapan selama satu jam sambil mengajak anjing jalan-jalan, dan juga sempat brainstorming yang lumayan bagus tentang salah satu proyek saya
Fitur terbaiknya adalah pertanyaan bisa didelegasikan ke GPT-5.5 di latar belakang, jadi tidak lagi terikat pada model suara yang tertinggal beberapa tahun dari garis depan
Saya juga melaporkan bug yang cukup lucu: ia menyela saat saya masih berbicara dan kadang tertawa pada ucapan yang sama sekali bukan dimaksudkan sebagai lelucon. Untungnya perilaku itu tampaknya sudah dikurangi, karena waktu itu terasa agak tidak sopan dan meremehkan
Saya ingin mencobanya, tapi semoga bukan kekacauan yang dibuat terlalu dramatis sampai terasa menyeramkan seperti Sesame. Saya menduga arah yang saya inginkan akan sulit menaikkan engagement secara besar, jadi pada akhirnya mereka akan terus mendorong ke arah pacar AI palsu
Saya ingin memakai mode suara ChatGPT untuk brainstorming saat perjalanan pulang-pergi atau olahraga, tetapi saya jadi jarang memakainya karena terasa seperti terjebak di masa lalu
Kalau ditanya sesuatu, jawabannya seperti, “Pertanyaan yang menarik. Saya bisa membantu. Apakah ada yang ingin Anda ketahui tentang X?” lalu walau ditanya lagi, yang kembali hanya jenis non-jawaban yang sama
Terutama Gemini, yang setiap kali berakhir dengan pertanyaan aneh dan tidak bisa dicegah secara andal lewat prompt, sampai akhirnya saya membuat klien sendiri yang hanya melakukan STT → model → TTS untuk alur kerja nyata. STT dan TTS juga berguna secara mandiri
Mungkin ada sedikit nilai dari model yang menjawab lebih cepat dan lebih bernuansa, tapi tidak besar. Saya bisa menunggu sampai jawaban selesai, dan saya lebih memilih kalau itu benar-benar berguna. Saya tidak sedang mencari teman digital
Berkat fitur delegasi, saya sedikit melihat nilai model suara untuk fitur yang sifatnya orkestrasi, tetapi saya kurang suka harus berbicara dengan model yang fungsi dan quirks-nya berbeda hanya karena media komunikasinya berubah, dan saya juga kurang paham kenapa orang menyukainya
Ini justru kebalikan dari arah yang seharusnya dituju AI. Hubungan antarmanusia adalah hal paling berharga yang kita miliki, tetapi teknologi secara alami berusaha menjadi perantara di antaranya dan sekarang mencoba menggantikannya
Saya bukan penganut Katolik, tetapi ada argumen menarik yang menentang menjadikan AI sebagai lawan bicara seperti manusia dalam podcast ini: https://newpolity.com/podcasts-hub/debate-chatbots
Orang-orang menyebutnya membantu manusia, tetapi saya melihatnya sebagai menyedot kemanusiaan dari manusia
Setelah kerusakan terjadi, perusahaan-perusahaan raksasa akan mengangkat bahu dan berkata, “Kami hanya menanggapi persaingan bisnis.” Bisnis bukan manusia, jadi tidak mengenal kemanusiaan. Korporasi dan mesin adalah entitas yang memandang manusia sebagai makanan, dan manusialah yang menciptakan mereka sambil percaya itu kemajuan. Kita menyebutnya kemajuan karena ia membutuhkan kemampuan intelektual dan membantu kita mendominasi spesies lain, tetapi lumba-lumba mungkin sedang menertawakan kita
Jika yang dimaksud adalah mode suara AI yang menggantikan sosialisasi atau percakapan antarmanusia, saya juga menganggapnya cringe dan sepenuhnya setuju. Itu berlaku baik dalam teks maupun suara
Namun, kalau ini adalah antarmuka alternatif untuk berinteraksi dengan AI sebagai alat, saya rasa itu ide yang bagus. Ada saat-saat ketika saya terlalu lelah untuk mengetik, atau ingin brainstorming dengan cara yang lebih bebas, dan mode suara yang bekerja dengan baik akan sangat membantu
Tentu saja, saat ini perbedaan antara memakai AI sebagai pribadi atau sebagai alat sepenuhnya ada di pihak pengguna. Saya sangat menginginkan yang kedua, dan jika seseorang ingin memakainya sebagai yang pertama, itu bukan urusan saya. Hanya saja saya sedih karena pada akhirnya fitur ini tampaknya akan dinilai bukan dari kelebihan sebagai alat, melainkan dari seberapa regresif dan reduktif cara orang rata-rata memakainya
Sebagian besar interaksi dengan manusia juga berlangsung lewat teks. Tulisan ini sendiri misalnya seperti itu
Meski begitu, orang juga bisa berargumen bahwa ia seharusnya dibuat lebih mirip robot. Seperti StarTrek. Sejujurnya, untuk pekerjaan itu mungkin malah lebih baik. Semacam “mode menyelesaikan tugas” yang dingin dan murni efisien
Yang absen dari pengumuman kali ini adalah kemampuan konektor dan penggunaan alat. Saya kurang paham. Di antara asisten terdepan seperti Claude, ChatGPT, Gemini, dan Grok, sepertinya tidak ada satu pun yang bisa memakai alat atau konektor dalam mode suara
Rasanya ini sangat wajar, tetapi saya ingin bisa meneliti materi, memuat dokumen, meninggalkan catatan, dan melakukan pekerjaan produktif sambil berbicara. Saya tidak ingin harus mengakhiri mode suara setiap kali perlu terhubung ke aplikasi atau layanan
Yang aneh, mode suara Claude lama dulu bisa memakai alat, tetapi setelah dirombak kemampuan itu hilang dan sekarang terkunci ke Haiku
Senang akhirnya ada mode suara berbasis model terdepan yang layak diharapkan sebagus suara Grok, tetapi tetap disayangkan karena penggunaan alat masih belum terlihat di mode suara
Saya sendiri belum mencobanya langsung, baru membaca pengumumannya
Respons Sam adalah, “Ya, itu tidak punya akses ke alat seperti timer. Itu masalah yang sudah diketahui, dan akan masuk dalam waktu sekitar 1 tahun”
Klipnya ada di sini: https://www.youtube.com/shorts/Py2YgJe8fqQ
Ada tempat yang sudah disetel agar Anda bisa menguji model gpt-realtime-2 lengkap dengan penggunaan alat: https://sippet.ai/?enabler=hn
Hanya saja, karena pemrosesan multimodal, saya cukup sering harus men-debug event aneh serta race condition antara pesan dan sekuens audio. Meski begitu, secara keseluruhan cukup luar biasa
Nanti hari ini saya berencana memindahkan ke model ini dan akan kembali membagikan hasilnya
Bagaimanapun, kapan saja orang bisa vibe coding dengan pi lalu membuat satu sendiri
Seperti banyak fitur AI, ini keren tapi juga agak menyeramkan. Saya mungkin bukan pengguna target karena belum pernah benar-benar memakai antarmuka suara seperti Siri dulu, punya Google, atau yang ada di TV, tetapi ini tampak seperti peningkatan
Bagian yang menyeramkan adalah bahwa kita hidup di masa yang lebih terputus satu sama lain daripada sebelumnya. Apa kita benar-benar harus menggantikan percakapan juga? Video demo yang menampilkan perempuan lanjut usia terasa menyiratkan sesuatu; menurut saya memang sudah ada masalah besar dalam cara masyarakat memperlakukan lansia dan persoalan kesepian lansia yang masif. Membayangkan orang-orang menjadi sangat dekat dengan mesin yang sebenarnya tidak berpikir terasa menyedihkan, dan jelas menimbulkan rasa tidak nyaman
Saya Atty dari OpenAI
GPT-Live-1 adalah versi pertama dari model generasi baru, dan saya melihat arsitektur full-duplex serta kemampuan delegasinya memungkinkan cara interaksi manusia-AI yang benar-benar baru
Saya ingin mendengar masukan
Saya penasaran jika 5 tahun dari sekarang Anda mendengar para remaja hanya menghabiskan waktu dengan chatbot buatan Anda, seberapa besar tanggung jawab pribadi yang akan Anda rasakan, atau apakah sama sekali tidak akan merasakannya
Jika mengatakannya begitu, itu bisa menyesatkan karena membuat orang salah paham bahwa klien umum juga tidak punya fitur tersebut
Saya kesal karena setelah melihat ini saya mungkin akan berlangganan ChatGPT lagi. Sebelum era LLM, saya tidak akan percaya bahwa saya akan begitu sering memakai fitur suara, tetapi saat ini ChatGPT punya antarmuka suara terbaik
Menurut saya antarmuka Grok ada di urutan berikutnya, lalu Claude
Salah satu use case favorit saya adalah mengobrol dan belajar tentang topik acak saat mengemudi
Ini jauh lebih baik daripada dulu, tetapi masih jauh lebih lemah dibanding chat langsung
Misalnya, saya bertanya, “Anda sering mengatakan bahwa magnitudo vektor tidak mengodekan sebagian besar informasi yang berguna, jadi mengapa attention LLM harus memakai hasil kali dalam alih-alih kesamaan kosinus?”
Jawaban suara arahnya benar, tetapi detailnya kurang dan terasa agak mengawang
Jawaban chat teks untuk pertanyaan yang sama kualitasnya jauh lebih tinggi
Dalam respons suara ia mengatakan, “Biar saya pikirkan…”, jadi tampaknya memang memanggil 5.5 seperti yang diiklankan, tetapi jelas lebih lemah
Pengaturan penalaran di kedua sisi saya buat sama
Jadi jika teksnya banyak, lebih baik ditampilkan di layar
Percakapan seperti itu akan terasa cukup canggung
Saya penasaran apakah ada model full-duplex open source yang dirilis selain PersonaPlex. Di antara model terbuka dari Tiongkok, rasanya ada model dengan nama mirip Fun Audio chat yang pernah bilang akan merilis versi full-duplex, tapi saya tidak tahu apakah itu benar-benar jadi dirilis
Impian saya adalah model full-duplex open source yang punya pemanggilan fungsi atau output teks yang sangat dasar. PersonaPlex tetap menarik, tetapi sepertinya perlu fine-tuning agar bisa menangani pemrosesan output atau agar tidak mudah lepas kendali
https://si.inc/posts/hertz-dev/
Hanya 8.5B, dan tidak terdengar sepenuhnya seperti percakapan interaktif
Saat ini saya melakukan semuanya lewat iMessage, tetapi saat tangan sibuk di dapur, akan bagus kalau saya bisa menambahkan barang ke daftar belanja dengan perintah suara. Saya juga ingin saran soal mikrofon dan speaker yang sebaiknya dipilih, dan untuk otaknya saya berencana memakai ulang Raspberry Pi yang menganggur
Gemini live sebenarnya sudah bisa melakukan ini selama lebih dari 1 tahun. Tinggal dinyalakan di ponsel dan kerjanya benar-benar mengejutkan bagusnya, terutama dalam menangani interupsi
Saya pernah mengujinya dengan nenek Belanda berusia 95 tahun, dan itu bisa berpindah mulus antara bahasa Inggris dan Belanda, menangani keterbatasan pendengarannya dengan baik, serta menerima permintaan pengulangan dengan baik
Agak mengejutkan bahwa OpenAI baru menyusul sejauh ini di sini
Jika ponsel diletakkan di tripod, itu bisa memandu seluruh proses perbaikan langkah demi langkah
Hal yang istimewa dari model ini adalah ia bisa mendelegasikan ke model terdepan saat sedang bercakap-cakap
Skenario terburuknya adalah orang-orang jadi terlalu terbiasa berbicara dengan AI yang selalu menyetujui mereka, sehingga kehilangan kemampuan untuk berbicara dengan pihak yang memberikan sudut pandang berbeda atau respons yang tidak membelai ego mereka