Apakah Masa Depan Segalanya Adalah Kebohongan – Bagian 5: Kekesalan

 (aphyr.com)
1 poin oleh GN⁺ 8 hari lalu | 1 komentar | Bagikan ke WhatsApp
  • Saat perusahaan mengadopsi chatbot berbasis LLM untuk otomatisasi dukungan pelanggan, akses ke agen manusia menjadi terbatas dan jawaban palsu serta kesalahan menjadi hal yang lumrah
  • Sistem semacam ini beroperasi secara diskriminatif menurut kelas ekonomi; pelanggan premium masih mendapat bantuan manusia, sementara pelanggan biasa terjebak dalam respons otomatis
  • LLM meluas ke wilayah penilaian yang ambigu seperti peninjauan asuransi dan penetapan harga, sehingga orang menghabiskan lebih banyak waktu untuk berdebat dan membujuk mesin
  • Ketidakjelasan tanggung jawab dan bias sosial dalam sistem ML menimbulkan kerugian nyata seperti penahanan yang tidak adil dan salah identifikasi, dan pertanggungjawabannya sulit dituntut karena strukturnya kompleks
  • Jika Agentic commerce, yang mengotomatisasi pembayaran dan pembelian dengan LLM, makin meluas, manipulasi, penipuan, dan pengalihan biaya dapat memburuk dan memperkuat 'ketimpangan kekesalan'

Ketidaknyamanan otomatisasi layanan pelanggan

  • Perusahaan mengalihkan pertanyaan pelanggan ke chatbot berbasis LLM untuk mengurangi biaya dukungan pelanggan, dan tren menunjukkan semakin sulitnya terhubung ke agen manusia
    • Dengan kemajuan model suara, layanan konsultasi lewat telepon juga berpotensi diotomatisasi
    • LLM memang memberikan respons yang sopan dan sabar, tetapi terus mengulangi kebohongan dan kesalahan, sehingga penyelesaian masalah tertunda
  • Sistem seperti ini bekerja secara diskriminatif menurut kelas ekonomi
    • Pelanggan premium masih bisa mengakses agen manusia, tetapi pelanggan biasa terjebak dalam percakapan dengan LLM
  • LLM rentan terhadap ketidakpastian dan injection attack sehingga kewenangannya untuk bertindak di luar sistem dibatasi
    • Berguna untuk masalah sederhana, tetapi untuk kesalahan administratif yang rumit atau masalah sistemik justru memicu frustrasi

Berdebat dengan model

  • LLM meluas melampaui dukungan pelanggan ke wilayah kerja yang ambigu seperti peninjauan asuransi, penetapan harga, dan penilaian hukum
    • Karena efisiensi biaya lebih diutamakan daripada akurasi, keputusan yang salah tetap dipertahankan selama profit sistem secara keseluruhan tidak terganggu
  • Lingkungan ini menimbulkan bentuk baru pemborosan tenaga kerja
    • Contoh representatifnya adalah penetapan harga algoritmis, di mana harga tiket pesawat berbeda menurut browser, perangkat, dan akun
    • Dokter harus mempelajari frasa tertentu untuk meyakinkan LLM milik perusahaan asuransi, dan konsumen bisa berada dalam situasi harus menyesuaikan penampilan agar cocok dengan pengenalan kamera
  • Individu akan menghabiskan lebih banyak waktu untuk berdebat dengan mesin
    • LLM seperti 'Chinese room' yang menghasilkan respons tanpa benar-benar memahami, sehingga tidak memiliki pemahaman manusiawi
    • Di masa depan, konten seperti "8 sayuran untuk menurunkan premi asuransi" yang berisi kiat menghadapi mesin bisa membanjir
  • Orang juga memakai LLM sebagai alat untuk melawan birokrasi
    • Muncul LLM pribadi yang mengotomatisasi penanggulangan penolakan klaim asuransi, pembatalan langganan, dan negosiasi harga
    • Namun asimetri antara perusahaan dan individu tetap ada, dan individu harus menanggung risiko finansial akibat malfungsi LLM

Penyebaran tanggung jawab

  • Dikutip pedoman internal IBM tahun 1979: "Komputer tidak bisa dimintai tanggung jawab, sehingga tidak boleh membuat keputusan manajerial"
  • Sistem ML telah menghasilkan kasus-kasus yang merugikan orang tak bersalah
    • Kasus Angela Lipps yang ditahan secara tidak adil selama 4 bulan akibat kesalahan pengenalan wajah
    • Kasus kamera pengawas yang salah mengenali bungkus camilan milik Taki Allen sebagai senjata sehingga polisi bersenjata dikerahkan
  • Insiden-insiden ini dianalisis bukan sebagai kegagalan teknis semata, melainkan kegagalan sistem sosio-teknis
    • Ketiadaan penilaian manusia, kesalahan prosedural, dan putusnya koordinasi antarlembaga saling berinteraksi secara kompleks
  • Model ML membungkus bias sosial sebagai objektivitas statistik
    • Ada contoh seperti meremehkan kelayakan kredit peminjam kulit hitam, mengurangi layanan kesehatan bagi perempuan, dan salah mengenali wajah orang kulit hitam
    • Ketidaktransparanan model dan penjelasannya yang saling bertentangan mendistorsi penilaian peninjau
  • Model berskala besar dibuat oleh banyak tenaga kerja dan organisasi yang terpisah sehingga tanggung jawab menjadi kabur
    • Terdiri dari struktur berlapis seperti rumah sakit, perusahaan asuransi, pemasok model, penyedia data, dan tenaga alih daya
    • Akibatnya, kesadaran tanggung jawab di tingkat individu dan kemungkinan koreksi melemah
  • Diperkirakan korban dari keputusan otomatis akan bertambah, seperti pada kecelakaan mobil swakemudi atau pemecatan akibat evaluasi SDM berbasis Copilot
    • Perusahaan merespons dengan denda atau penyesuaian kontrak, tetapi penuntutan tanggung jawab pada tingkat individual sulit dilakukan
  • Ini adalah masalah struktural dalam rekayasa modern secara luas; makin kompleks sistemnya, makin sulit menelusuri penyebab kecelakaan
    • Kompleksitas setingkat investigasi besar seperti kecelakaan penerbangan kini meluas ke keputusan sehari-hari

Mekanisme pasar dan 'Agentic commerce'

  • Agentic commerce adalah konsep ketika LLM mengelola metode pembayaran pengguna dan melakukan pembelian otomatis atas nama mereka
    • LLM mengotomatisasi perbandingan harga, perpanjangan asuransi, dan pembaruan langganan, sehingga menghilangkan tahap distribusi perantara
  • McKinsey memperkirakan berkurangnya iklan yang berpusat pada manusia, dan mengusulkan penyisipan iklan di dalam chatbot serta struktur negosiasi antar-LLM
    • Namun ini menciptakan insentif kuat untuk memanipulasi perilaku LLM
  • Iklan yang menargetkan LLM dan persaingan manipulasi SEO berpotensi berkembang menjadi bentuk baru perang algoritmis
    • Upaya dapat muncul untuk memicu respons LLM dengan piksel, font, atau warna tertentu, atau mendorong penjualan lewat peracunan data pelatihan
    • Platform seperti OpenAI membentuk struktur sebagai perantara antara produsen dan konsumen yang mengambil keuntungan dari kedua sisi
  • Negosiasi otomatis antar-LLM berisiko berubah menjadi pertempuran saling serang dengan 'dark pattern'
    • Sinyal palsu, injection attack, dan log transaksi berlebihan dapat memicu interaksi yang kacau
  • Sejumlah lembaga riset memprediksi peralihan ke pembayaran berbasis kripto, tetapi hal ini berpotensi memperburuk kesalahan, penipuan, dan masalah refund
    • Jika LLM melakukan pembelian yang keliru, muncul ketidakjelasan pihak yang bertanggung jawab
    • Diperkirakan akan terbentuk struktur sengketa yang rumit antara pemroses pembayaran, bank, dan LLM
  • Ketidakpastian seperti ini dapat berujung pada kenaikan biaya pemrosesan pembayaran dan biaya pencegahan penipuan
    • Pada akhirnya konsumen umum akan ikut menanggung biaya risiko
  • Konsumen mungkin harus memakai profil palsu dan alat otomatis untuk menipu atau bernegosiasi dengan LLM
    • Ini menimbulkan kelelahan dan inefisiensi, tetapi jika seluruh pasar mengadopsi LLM, struktur semacam ini bisa menjadi tak terhindarkan
    • Hanya kalangan kaya yang dapat mempertahankan layanan berpusat pada manusia, sehingga 'ketimpangan kekesalan' diperkirakan makin parah

Bacaan terkait

1 komentar

 
GN⁺ 8 hari lalu
Komentar Hacker News

  • Saya tidak perlu melakukan 1000 transaksi per hari
    Saya tidak merasa harus menyetujui setiap pembelian akan menjadi ketidaknyamanan yang fatal
    Saya sama sekali tidak berniat mempercayakan kartu kredit saya kepada LLM. Karena masalah struktural seperti kerentanan injection
    Saya juga sulit menaruh kepercayaan pada arsitektur AI masa depan
    Namun, hal seperti otomatisasi dukungan pelanggan pada akhirnya tampak tak terelakkan

    • Saya kesal karena artikel itu menggambarkan harus berdebat dengan mesin sebagai sesuatu yang baru dan menyebalkan
      Saya sudah menekan 0 setiap kali menelepon apotek Costco untuk menghindari neraka respons otomatis
      Pada akhirnya, yang diuntungkan dari sistem seperti ini hanyalah pemegang saham dan eksekutif

  • Dunia sekarang terasa semakin berputar di sekitar manipulasi dan ketiadaan kebenaran
    LLM adalah pencapaian teknis yang menakjubkan, tetapi masalahnya adalah cara teknologi itu digunakan untuk memperlebar kesenjangan kelas
    Ke depan, yang tidak bisa dipercaya bukan hanya perusahaan besar, negara, atau LLM
    Kita harus menata ulang diri di sekitar kelompok dan komunitas yang bisa kita percaya

    • Teknologi tidak netral. Jika digunakan tanpa batasan struktural, kita akan kehilangan kendali
    • Dunia sudah lama berjalan dengan manipulasi sebagai pusatnya. Dulu justru lebih mudah karena distribusi informasi lebih mahal
    • Saya setuju dengan gagasan membangun komunitas yang bisa dipercaya, tetapi pada akhirnya institusi publik, masyarakat, dan pemerintahan sipil lah yang dulu menjalankan peran itu
      Masalahnya bukan pada institusinya, melainkan pencemaran lingkungan. ekonomi perhatian di media sosial meruntuhkan kepercayaan
    • Masyarakat sebelum internet membangun sistem untuk mengelola kepercayaan, tetapi sekarang struktur insentif sudah benar-benar berbeda
      Pencemaran informasi memengaruhi semua orang, dan pada akhirnya kita menuju ekosistem informasi yang dikendalikan bot
      Bahkan jika manusia dan bot berpartisipasi bersama, interaksi berbasis aturan akan menjadi penting
    • Kita membutuhkan model lokal, perangkat keras konsumen yang kuat, dan publik yang tidak anti STEM
      Tetapi nilai pemegang saham tidak menginginkan itu. Pada akhirnya kita harus berevolusi di tengah kontradiksi antara kenaikan biaya dan kebencian pada teknologi

  • Ayah saya mengganti baterai kunci mobil dengan bantuan AI dan sangat puas
    Ia juga bertanya kepada AI tentang aturan asuransi, dan hasilnya lebih baik daripada saat mencari sendiri
    Saya juga sekarang cenderung bertanya ke AI untuk pertanyaan sederhana, bukan ke Google
    Dalam banyak kasus AI sudah cukup 'cukup layak dipakai', dan sering kali lebih baik
    Orang tidak peduli apakah itu hanya prediktor token. Kalau hasilnya bagus, itu sudah cukup

    • Tapi hal seperti ini sebenarnya sudah mungkin dilakukan dulu. Orang hanya pindah ke LLM karena kualitas pencarian sudah rusak
      Rasanya seperti perusahaan menciptakan masalah lalu menjual solusinya
    • Masalahnya, hal seperti ini juga terjadi di layanan kesehatan. Ada kasus perawat begitu saja mempercayai snippet AI lalu memberikan vaksin

  • Dari pengalaman bekerja dengan tim dukungan pelanggan, tujuan peningkatan teknologi selalu mengurangi jumlah tiket dan menekan biaya
    Kepuasan juga diukur, tetapi yang utama tetap volume tiket
    Bahkan sebelum LLM, chatbot sudah dipakai karena alasan ini
    Namun dukungan pelanggan juga berfungsi sebagai sistem peringatan dini bagi perusahaan, jadi jika titik kontak dengan manusia dikurangi, akan makin sulit memahami penderitaan pengguna

    • Jika membandingkan dukungan Amazon dan Chewy, bedanya besar. Amazon mempersulit akses ke manusia, sedangkan Chewy langsung menghubungkan ke ahli
    • Chatbot ISP gagal menyelesaikan masalah lalu saya dihubungkan ke manusia, tetapi orang itu juga sedang melakukan copas LLM
    • Begitu saya harus berbicara dengan chatbot, saya langsung siap pindah ke perusahaan asuransi lain

  • Ini mengingatkan saya pada kalimat pelatihan internal IBM tahun 1979: "A COMPUTER CAN NEVER BE HELD ACCOUNTABLE"
    Inilah alasan mengapa hari ini kita terus mendengar, “komputernya bilang tidak bisa”
    Jika manajer ingin menghindari tanggung jawab, cukup serahkan keputusan kepada komputer
    Pada akhirnya, AI sedang memperkuat otomatisasi penghindaran tanggung jawab

    • Tetapi makna aslinya justru kebalikannya. Artinya, “komputer tidak bisa dimintai pertanggungjawaban, jadi keputusan manajerial harus dibuat manusia”
    • Ini mengingatkan pada video meme YouTube “computah says noooooo”

  • Hal yang paling saya khawatirkan adalah penyebaran dan pengenceran tanggung jawab
    Organisasi skala menengah sudah beroperasi dengan struktur seperti ini, dan LLM tampaknya akan memperburuknya

    • Pada akhirnya sepertinya kita akan hidup di zaman melawan LLM dengan LLM. Dunia di mana pihak yang mengotomatisasi akan menang

  • Saya mengirim seri tulisan Aphyr kepada teman-teman, tetapi balasan yang datang adalah, “tolong ringkas”
    Teman-teman yang dulu biasa berdiskusi mendalam sekarang hanya mengirim ringkasan AI dan percakapannya jadi dangkal
    Penurunan perhatian terasa sangat jelas

    • Mungkin mereka memang sejak awal tidak sepintar itu
      Banyak orang tampaknya hanya meniru pengetahuan dengan mengutip 'video YouTube yang terlihat pintar'
    • Saya juga merasakan kekecewaan serupa. Karena itu saya mulai berkirim surat lewat email dengan beberapa teman
      Bertukar tulisan panjang dan berbicara secara mendalam terasa jauh lebih segar dan bermakna
    • Tentu saja, orang sibuk punya prioritas lain daripada meluangkan waktu membaca esai delapan bagian
    • Tulisan Aphyr terlalu negatif dan pesimistis, jadi saya sulit setuju.
      AI masih di tahap awal, dan setiap minggu ada riset serta model baru. Masa depan masih belum ditentukan
    • Saya sangat setuju dengan gagasan jangan kirim ringkasan AI ke teman

  • Membagikan tautan archive.is

    • Lalu muncul pertanyaan mengapa tidak mengunjungi situs Aphyr secara langsung

  • Ide tentang “boikot model pribadi yang membuat model Burger King membuang token” menarik

    • Tetapi protes dengan membuang CPU itu tidak produktif. Perusahaan justru akan memakai itu sebagai alasan untuk menghapus layanan pelanggan
    • Orang-orang yang membenci AI sudah menjadi lapisan yang tersisih dari sistem. Suara mereka tidak sampai ke media
      Jadi saya memutuskan untuk menerima saja 'para penguasa triliunan parameter'

  • Tulisan Aphyr menarik, tetapi terasa seperti nada khas Amerika
    Polanya adalah “ini buruk → perusahaan akan menyalahgunakannya tanpa regulasi → kita tamat”
    Tetapi begitu bicara soal membuat regulasi (law), semua orang mundur
    Amerika memang selalu seperti ini. Perusahaan akan mengeksploitasi jika tidak ada regulasi
    Masyarakat dengan regulasi lebih layak dihuni dalam jangka panjang, bahkan jika dalam jangka pendek uang yang dihasilkan lebih sedikit

    • Masalahnya bukan orang membenci regulasi, melainkan orang kaya dan perusahaan memanipulasi hukum
      Amandemen konstitusi diperlukan, tetapi dalam struktur politik sekarang itu nyaris mustahil
    • Gagasan bahwa “masa lalu penuh kebenaran sedangkan sekarang hanya kebohongan” adalah ilusi
      Dulu juga penuh penipu dan penjual snake oil
      Pada akhirnya kepercayaan hanya muncul dari hubungan yang berulang. Di ranah online itu tidak mungkin
      Ke depan kepercayaan pada merek tampaknya akan menjadi lebih penting
    • Jika regulasi muncul, pendapatan pekerja teknologi akan menurun. Jadi meski semua orang sadar ada masalah, mereka menganggapnya urusan orang lain
    • Lalu muncul pertanyaan, “kalau begitu regulasi seperti apa yang Anda usulkan?”
    • Orang yang menuntut regulasi pada akhirnya berarti mengatakan mari beri kekuasaan kepada politisi yang tidak sempurna
      Karena itu kadang menghasilkan konsekuensi tertinggal dari negara lain