Antarmuka Sedang Keluar dari Layar - Chat, Suara, dan AI Agen Mengubah UX

• Pusat perangkat lunak sedang bergeser dari layar dan menu menuju percakapan/pendelegasian/eksekusi di latar belakang, sehingga objek desain UX juga berubah dari layar statis menjadi sistem yang menafsirkan niat pengguna dan bertindak
• Chat bukan antarmuka yang menggantikan semua tugas; bila pengguna sudah jelas tahu apa yang diinginkan, lebih tepat memakai GUI terstruktur, dan hanya ketika tujuan masih samar barulah antarmuka percakapan cocok digunakan
• Suara dipahami sebagai interaksi sosial, sehingga menjaga konteks percakapan lebih penting daripada perintah satu kali; latensi/kehilangan konteks/pemulihan kesalahan menjadi masalah yang jauh lebih fatal dibanding antarmuka berbasis layar
• AI agen dapat bekerja tanpa antarmuka, tetapi agar pengguna percaya, sistem harus menunjukkan rencana tindakan, progres, cakupan izin, dan titik yang tak bisa dibatalkan; pola kuncinya adalah visibilitas rencana/delegasi bertahap/intervensi yang anggun
• Ketiga paradigma sama-sama memindahkan pusat UX dari alur interaksi ke niat dan hubungan kepercayaan, tetapi prinsip dasarnya tetap sama: pengguna ingin dipahami, tetap memegang kendali, serta waktunya dan perhatiannya dihargai

---

Percabangan UX yang berpusat pada layar

• Selama 30 tahun terakhir, desain UX adalah pekerjaan merancang alur antara layar, menu, modal, tombol, carousel, dan status
  • Metafora desktop yang terdiri dari jendela, folder, dan file menyediakan kosakata bersama untuk membangun produk digital
• Alih-alih kosakata ini lenyap, ia kini bercabang menjadi beberapa cara interaksi yang hampir tidak mirip satu sama lain
  • Pengguna berbicara kepada perangkat lunak, mendelegasikan pekerjaan, atau hanya memeriksa hasil yang sudah diproses di latar belakang
  • Layar tetap ada, tetapi tidak lagi menjadi permukaan yang mewakili kontrak dasar antara manusia dan produk
• Tiga paradigma yang sedang membentuk ulang UX saat ini adalah chat, suara, dan AI agen, dan masing-masing menuntut kontrak interaksi yang berbeda

Chat bukan antarmuka universal

• Pada 2022, belum banyak orang yang pernah memasukkan perintah bahasa alami ke antarmuka produk, tetapi pada 2025, 73% perusahaan menggunakan suatu bentuk antarmuka percakapan untuk interaksi pelanggan
• Kotak input teks memang muncul sebagai elemen UI inti, tetapi chat itu sendiri tidak menjamin UX yang baik
• Erika Hall dalam Conversational Design membedakan bahwa percakapan hanya cocok ketika sistem dan pengguna perlu menegosiasikan makna
  • Bila pengguna sudah tahu tindakan yang diinginkan seperti Tambahkan ke keranjang, filter berdasarkan harga, atau kirim formulir, antarmuka terstruktur lebih cepat, lebih akurat, dan tidak melelahkan
  • Percakapan efektif ketika pengguna masih menjelajah, tujuannya belum jelas, dan sulit mengekspresikan kebutuhannya lewat klik atau formulir
• Produk yang menerapkan ini tidak mengganti seluruh produk hanya dengan chat, melainkan memakai antarmuka hibrida
  • Notion AI tidak menggantikan dokumen, tetapi berjalan di sidebar di samping dokumen
  • Command palette Linear menangani pembuatan tiket yang memang sudah diketahui pengguna, sementara AI menangani pertanyaan samar seperti “Apa yang sedang menghambat tim mobile?”
  • GitHub Copilot tidak mengganti IDE dengan jendela chat, tetapi memberi saran inline di dalam lingkungan kerja yang sudah ada
• Kriteria utamanya adalah: bila niat pengguna jelas, gunakan GUI terstruktur; bila niatnya samar, gunakan percakapan
  • Memperlakukan chat sebagai sarana universal untuk menyelesaikan semua masalah antarmuka hanya menambah biaya interaksi yang tidak perlu

Kejelasan niat menentukan antarmuka

• Paten sistem rekomendasi berbasis niat multi-tahap US20260065349A1 membagi permintaan menjadi dua tingkat
  • Niat mikro adalah permintaan dengan tingkat keyakinan tinggi dalam kategori yang sama
  • Niat makro adalah tujuan eksploratif yang melintasi berbagai kategori
• Antarmuka yang diberikan seharusnya tidak ditentukan oleh apakah produk berpusat pada chat atau GUI, melainkan oleh seberapa jelas niat pengguna
• Perplexity tidak sekadar memperbaiki kotak pencarian, tetapi membuat halaman jawaban yang merangkai ringkasan, kutipan sumber, pertanyaan lanjutan, dan data terstruktur secara real time untuk setiap pertanyaan
• Dalam riset, pendekatan ketika pengguna menyatakan apa yang diinginkan lalu antarmuka yang sesuai dirakit seketika disebut Generative UI
  • Alih-alih membuat semua status layar secara langsung, desainer merancang sistem dan aturan yang menghasilkan status yang tepat
  • Perannya bergeser dari menulis kalimat jadi menjadi membuat tata bahasa yang akan menghasilkan kalimat itu

Desain kepercayaan untuk antarmuka generatif

• Jika hasil generasi ditampilkan bertahap alih-alih sekaligus, pengguna menganggap sistem sedang bekerja, bukan macet
• Tombol berhenti yang selalu terlihat saat proses generasi memberi rasa bahwa pengguna bisa campur tangan dalam proses yang tidak transparan
• Kutipan sumber yang dapat diklik mengubah chatbot dari orakel yang mengumumkan jawaban benar menjadi kolaborator yang meninjau dasar argumen bersama pengguna
• Desain interaksi kecil seperti streaming, tombol berhenti, dan penunjuk sumber menentukan kepercayaan dan kemungkinan adopsi sistem secara keseluruhan

Suara bukan saluran perintah, melainkan saluran sosial

• Antarmuka suara telah lama diposisikan sebagai inti komputasi ambien sejak era smart speaker, tetapi pengalaman nyatanya tidak memenuhi harapan
• Sejak akhir 2025, pusat perubahan mulai bergeser dari layar ke telinga
• Siri AI yang diumumkan pada Juni 2026 diposisikan bukan sebagai asisten suara yang ditempelkan ke ponsel, melainkan lapisan percakapan lintas perangkat
  • Pertanyaan yang dimulai di iPhone bisa dilanjutkan di iPad, dan konteks percakapan tetap terjaga
  • Sistem mengenali apa yang sedang dilihat di layar dan memanfaatkan konteks pribadi dari email, kalender, dan foto
  • Permintaan sensitif diproses dengan inferensi on-device yang melindungi privasi, dan AirPods diperluas dari perangkat pendamping menjadi antarmuka utama
• Clifford Nass dan Scott Brave dalam Wired for Speech menjelaskan bahwa manusia menerima suara bukan sebagai saluran perintah, tetapi sebagai saluran interaksi sosial
  • Saat mendengar suara, sistem kognitif sosial yang mengharapkan timbal balik, konteks, dan relasi akan aktif
  • Siri lama adalah model transaksional: memberi perintah, menerima hasil, lalu relasi selesai, sehingga bertentangan dengan harapan ini
  • Model baru mengejar struktur relasional yang mempertahankan konteks lintas percakapan, perangkat, dan waktu

Kondisi kegagalan yang ditunjukkan Humane AI Pin dan Rabbit R1

• Humane AI Pin adalah produk wearable berfokus suara tanpa layar dengan investasi 240 juta dolar, dirilis pada April 2024 seharga 699 dolar, tetapi dihentikan sebelum genap satu tahun
• Cathy Pearl dalam Designing Voice User Interfaces menyebut latensi dan pemulihan kesalahan sebagai variabel inti yang menentukan pengalaman suara
  • AI Pin memerlukan 2~5 detik bahkan untuk pertanyaan sehari-hari, padahal dalam antarmuka suara 2 detik pun terasa sangat lama
  • Status diinisialisasi ulang pada setiap interaksi, sehingga gagal menyediakan konteks berkelanjutan yang merupakan syarat dasar percakapan
• Rabbit R1 mengalami masalah serupa saat peluncuran, tetapi membaik pada akhir 2025 ketika RabbitOS 2 mencerminkan kebutuhan interaksi suara, bukan lewat perubahan hardware
• UX suara jauh lebih sensitif terhadap latensi dan hilangnya konteks dibanding layar
  • Di layar, pengguna masih bisa memindai elemen sekitar dan memahami kembali posisi mereka saat ini
  • Dalam suara, tidak ada titik acuan visual yang menopang memori spasial, sehingga ketika alur percakapan putus, pemulihannya sulit
  • Tuntutan infrastrukturnya untuk respons cepat, menjaga konteks, dan pemulihan kesalahan yang alami juga lebih tinggi

Elemen desain baru untuk telinga dan tubuh

• Audio spasial muncul sebagai lapisan umpan balik yang menggantikan layar
  • Analisis adegan audio real-time di AirPods membedakan sinyal dan kebisingan sekitar, sehingga suara itu sendiri bisa dipakai sebagai sarana penyampai status
• Getaran haptik pada wearable memungkinkan pengguna memastikan aksi selesai tanpa melihat layar
• Paradigma suara bukan sekadar fungsi berbicara dengan ponsel, melainkan masalah merancang interaksi yang terjadi saat pengguna sedang melakukan hal lain seperti memasak, berjalan, atau mengemudi
  • Perhatian pengguna hanya sebagian diarahkan ke produk
  • Konteks tidak berada di dalam layar, tetapi dalam aktivitas tubuh dan lingkungan sekitar
  • Model desain yang hanya berpusat pada layout layar sulit menangani hal ini

AI agen bertindak tanpa antarmuka

• AI agen melampaui sekadar menjawab pertanyaan; ia menggunakan alat, menavigasi web, menulis kode, mengirim email, dan mengirim formulir sebagai rangkaian tindakan
• Pada 2024~2025, teknologi ini berpindah dari demo riset ke produk nyata
  • OpenAI Operator melakukan reservasi restoran
  • Anthropic Claude mengoperasikan browser web atas nama pengguna melalui computer use API
  • Salesforce Agentforce menangani kasus layanan pelanggan dari awal sampai akhir tanpa campur tangan manusia
• Gartner memproyeksikan porsi aplikasi perusahaan yang mengintegrasikan agen AI spesifik tugas akan meningkat dari kurang dari 5% pada 2025 menjadi 40% pada akhir 2026
• Agen tidak memerlukan antarmuka untuk melakukan pekerjaan, tetapi agar pengguna mempercayainya, tetap dibutuhkan antarmuka yang terlihat untuk memahami dan mengendalikan tindakannya

Meningkatkan otomatisasi dan kendali manusia sekaligus

• Ben Shneiderman dalam Human-Centered AI menilai pendekatan yang menggantikan penilaian manusia dengan agen otonom sebagai sesuatu yang tergesa-gesa secara teknis dan berisiko secara etis
• Alternatifnya bukan menurunkan otomatisasi demi mendapatkan kendali manusia, atau menghapus kendali manusia demi menaikkan otomatisasi, melainkan menyediakan kendali manusia tinggi dan otomatisasi tinggi sekaligus
• Alih-alih meminimalkan peran manusia, pengawasan harus dirancang agar mudah dipahami, mudah diakses, dan tidak membebani
• Tujuan UX agen bukan memilih antara otonomi atau kendali, melainkan membangun otonomi yang dapat dikendalikan sejak awal

Paradoks transparansi agen

• Agen yang bertindak diam-diam tanpa penjelasan memang efisien, tetapi bisa menimbulkan rasa takut
• Agen yang terus menjelaskan setiap tindakan bisa terasa tepercaya, tetapi juga dapat melelahkan pengguna dengan log sistem
• Desain yang tepat harus menunjukkan cukup banyak agar pengguna merasa memegang kendali, tetapi membatasi informasi agar mereka tidak kewalahan oleh aktivitas internal sistem
• Pola yang umum muncul pada produk agen yang benar-benar telah dideploy adalah visibilitas rencana, delegasi bertahap, dan intervensi yang anggun

Visibilitas rencana

• Agen harus menunjukkan kepada pengguna apa yang akan dilakukannya sebelum mulai bertindak
• Gunakan ekspresi yang bisa dipahami manusia, bukan bahasa sistem seperti POST /api/calendar/event를 실행합니다, misalnya “Saya akan mencoba memesan meja pukul 7 malam di restoran yang Anda sebutkan. Mau saya cek ketersediaannya dulu?”
• Pratinjau sebelum eksekusi menjadi titik saat pengguna memutuskan apakah akan mempercayai sistem
• Bahkan dalam riset multi-agent reinforcement learning, beberapa agen perlu berbagi rencana sebelum bertindak agar konsistensi sistem tetap terjaga

Delegasi bertahap

• Otonomi tidak boleh diberikan sepenuhnya kepada agen sejak awal; otonomi harus diperluas seiring kepercayaan yang berhasil dibangun
• Agen Intercom menangani tugas yang sederhana dan berkeyakinan tinggi terlebih dahulu, lalu meminta persetujuan sebelum melakukan tindakan yang lebih berisiko
• Riwayat persetujuan pengguna berfungsi sebagai model kepercayaan, dan semakin agen membuktikan reliabilitasnya, semakin luas kewenangan tindakannya
• Manusia tetap berada dalam loop bukan dengan melakukan semua pekerjaan sendiri, melainkan dengan menetapkan batas yang tidak boleh dilampaui agen

Intervensi yang anggun dan tindakan yang tak bisa dibatalkan

• Pengguna harus bisa meminta penghentian dan mengambil kembali kendali kapan pun dalam alur kerja agen
• Agen dapat melakukan tindakan yang sulit dibatalkan seperti mengirim email atau memesan tiket pesawat, sehingga fitur undo sederhana saja tidak cukup
• Alih-alih mencoba memulihkan setelah tindakan dilakukan, sistem harus menandai titik yang tidak dapat dibalik dengan jelas dan meminta persetujuan sebelum melewatinya

Explainability menjadi produk itu sendiri

• Saat sistem AI klinis hanya menampilkan rekomendasi tanpa dasar, tenaga medis tidak menggunakannya
• Setelah antarmukanya diubah menjadi hanya menampilkan satu rekomendasi per kali, dengan panel alasan dan opsi abaikan yang bisa dilakukan dalam satu klik, adopsi pun terjadi
• Model AI maupun hasil rekomendasinya tidak berubah; hanya antarmukanya yang berubah
• Dalam UX agen, explainability bukan fitur tambahan untuk kepatuhan regulasi, tetapi pengalaman produk inti yang membuat pengguna mau menerima produk tersebut

Dari status layar ke perilaku sistem

• Desainer kini bukan hanya merancang status yang terlihat di antarmuka, tetapi juga bagaimana sistem bertindak saat pengguna tidak sedang melihatnya
• Pertanyaannya pun bergeser dari “Apa yang terlihat oleh pengguna?” menjadi “Apa yang harus bisa dipercayai pengguna agar mereka mau mempercayai sistem ini?”
• Dibanding komposisi visual, perilaku, tanggung jawab, niat, dan penilaian tentang kepercayaan menjadi lebih penting

Dari interaksi ke niat

• Don Norman dalam The Design of Everyday Things berpendapat bahwa desain gagal ketika cara kerja sistem yang diyakini pengguna berbeda dari cara kerjanya yang sebenarnya
• UX tradisional mengasumsikan pengguna sudah memutuskan tindakan yang akan dilakukan bahkan sebelum sampai ke antarmuka
  • Menu ada karena pengguna tahu menu mana yang akan dibuka
  • Formulir ada karena pengguna tahu kolom mana yang harus diisi
• Pada kenyataannya, yang dibawa pengguna bukan niat yang konkret, melainkan tujuan yang lebih abstrak
  • Asumsi yang mengabaikan perbedaan ini memang tidak sepenuhnya tepat, tetapi cukup berguna selama 30 tahun untuk membangun UX berbasis layar
• Antarmuka baru memisahkan tujuan dan niat
  • Chat memungkinkan pengguna menyampaikan tujuan dalam bahasa alami, lalu sistem mengonkretkan niatnya
  • Suara memungkinkan tujuan diekspresikan bahkan saat tangan tidak bisa digunakan
  • Agen menerima tujuan sekali lalu mengeksekusi rencana multi-langkah untuk memenuhinya
• Perubahan bersama yang mengikat ketiga paradigma ini adalah bahwa niat, bukan interaksi, menjadi objek utama desain

Desainer merancang hubungan kepercayaan

• Peran desainer bergeser dari perancang alur interaksi menjadi perancang hubungan kepercayaan antara manusia dan sistem yang bertindak atas nama pengguna
• Hal-hal baru yang harus ditangani meliputi:
  • Seberapa banyak pekerjaan yang akan didelegasikan pengguna kepada sistem
  • Bagaimana sistem menafsirkan permintaan yang ambigu
  • Bagaimana memastikan selisih antara apa yang diucapkan pengguna dan apa yang sebenarnya mereka inginkan
• Pekerjaan ini memerlukan alat dan metode evaluasi baru
  • Riset interaksi manusia-AI mengusulkan evaluasi yang tidak hanya mengukur apakah tugas selesai, tetapi juga apakah pengguna merasa mendapat cukup informasi dan tetap memegang kendali
• Saat membangun sistem yang mengambil keputusan atas nama pengguna, juga dibutuhkan standar etis tentang keputusan mana yang boleh didelegasikan

Tantangan bagi desainer chat/suara/agen

• Dalam antarmuka chat, hal tersulit justru menentukan di mana chat sebaiknya tidak digunakan, bukan di mana chat diterapkan
  • Produk yang berhasil bukanlah produk dengan AI paling kuat, tetapi produk yang secara tepat membedakan tugas yang cocok untuk percakapan dan formulir
  • Pembedaan ini bukan keputusan engineering, melainkan keputusan desain
• Dalam antarmuka suara, elemen di luar layar harus dirancang
  • Waktu harus dirancang karena waktu respons lebih penting daripada layout
  • Konteks harus dirancang dengan mempertimbangkan apa yang masih diingat pengguna
  • Harus dirancang cara memulihkan percakapan ketika sistem tidak memahami
  • Umpan balik audio, haptik, sinyal spasial, dan strategi pemulihan percakapan menjadi alat baru
• Sistem agen adalah area yang pola bakunya paling sedikit dan risikonya paling tinggi
  • Keputusan tentang transparansi, kontrol intervensi, dan delegasi bertahap menentukan apakah pengguna merasa diberdayakan atau diawasi
  • Ini juga memengaruhi seberapa banyak otonomi AI yang bersedia diberikan orang di berbagai industri, melampaui produk individual
• Jika ketiga paradigma didukung bersama dalam satu produk, maka harus diselesaikan pula masalah orkestrasi untuk menghubungkan antarmuka dengan kontrak interaksi yang berbeda-beda menjadi satu pengalaman yang konsisten

Prinsip UX yang tidak berubah

• Meski antarmuka baru terus muncul, pengguna tetap ingin merasa bahwa mereka dipahami
• Mereka takut kehilangan kendali, menghindari produk yang tidak transparan, dan mempercayai produk yang jujur
• Produk yang membuat pengguna merasa tidak mampu atau lambat akan terus ditinggalkan
• Peran desainer UX yang baik selalu membuat pengguna merasa dirinya mampu dan dipahami
• Chat, suara, dan agen adalah instrumen baru untuk melakukan hal itu, dan tolok ukur kejelasan/kepercayaan/kesenangan/penghormatan terhadap waktu dan perhatian tidak berubah

Bacaan lanjutan

• Erika Hall — Conversational Design
• Cathy Pearl — Designing Voice User Interfaces
• Clifford Nass / Scott Brave — Wired for Speech
• Ben Shneiderman — Human-Centered AI
• Don Norman — The Design of Everyday Things