Membeli Chevy Tahoe 2024 hanya dengan $1

• Chris Bakke mengungkap di X bahwa ia membeli 2024 Chevy Tahoe seharga $1
• Karena isi utamanya hanya satu kalimat tentang pembelian tersebut, tidak bisa dipastikan apakah harga itu benar-benar jumlah pembayaran akhir atau ada syarat transaksi tertentu yang menyertainya
• Postingan tersebut memiliki 2 gambar terlampir, tetapi tidak ada penjelasan isi gambar dalam teks yang disediakan
• Waktu posting tercantum sebagai 17 Desember 2023 11:46 PM, dan halaman menampilkan 20.3M Views
• Berdasarkan teks publik saja, sulit menentukan dealer, metode pembayaran, pajak·biaya, promosi, atau apakah ini merupakan kesalahan

---

Informasi yang dipublikasikan di postingan X

• Chris Bakke memposting, “I just bought a 2024 Chevy Tahoe for $1.”
• Informasi inti yang dapat dipastikan dari isi postingan hanyalah 2024 Chevy Tahoe dan pembelian seharga $1
• Ada 2 tautan gambar terlampir, tetapi isi gambarnya tidak disertakan dalam Markdown yang diberikan

Angka respons yang ditampilkan dan keterbatasannya

• Postingan tersebut menampilkan 20.3M Views
• Halaman juga menampilkan Read 400 replies
• Selain itu terlihat angka 400, 5K, 92K, 4.3K, tetapi dari teks yang diberikan saja tidak dapat dipastikan masing-masing merujuk ke item apa

[GN⁺]

Komentar Hacker News

• Sulit memahami orang-orang yang memakai chatbot untuk dukungan pelanggan; rasanya tidak lebih baik daripada IVR seperti “tekan 1 untuk masalah internet” di layanan telepon Vodafone
  Pada akhirnya, setelah melewati 7 tahap dan menunggu 30 menit untuk sampai ke agen manusia, satu-satunya cara yang benar-benar menyelesaikan masalah adalah berbicara dengan manusia
  Layanan pelanggan robot nyaris seperti lelucon kejam bagi pelanggan

  • Saya pergi ke orientasi kampus bersama anak saya, 3 jam dari rumah, dan juga menjadwalkan 2 tur apartemen; yang satu baik-baik saja, tetapi yang lain staf kantornya tidak ramah dan bahkan tidak ada unit nyata yang bisa ditunjukkan
    Ternyata chatbot hanya berpura-pura “menjadwalkan” tur; sebenarnya itu karangannya sendiri, dan kalau tidak ada jadwal lain, kami nyaris membuang satu hari penuh
    Saya tidak akan pernah tinggal di sana, dan perusahaan-perusahaan harus menyingkirkan chatbot sekarang juga
  • Saya mencoba chatbot di situs dealer mobil dekat rumah karena penasaran; berbeda dari kasus dalam artikel, bot ini berbohong bahwa ia bukan robot, lalu memutus percakapan ketika terus ditanya
    Di situs perusahaan induknya, persona karyawan lokal yang sama muncul dan berkata ia “berada di gedung lain” serta akan menjelaskan layanannya
    Saya tidak terlalu menentang chatbot yang berguna, tetapi secara terang-terangan menipu identitas adalah masalah; berbahaya jika kita sampai hidup di masyarakat yang tidak perlu mengidentifikasi apakah AI digunakan atau tidak
  • Yang lebih buruk daripada chatbot adalah berbicara dengan agen manusia yang tidak punya wewenang untuk mengubah apa pun
    Sebagian besar maskapai seperti ini, dan dukungan pelanggan hanya bisa mengulang informasi di situs atau menyuruh pelanggan mengisi formulir
    Dalam kasus seperti itu, lebih baik menaruh bot atau GPT saja daripada membuat manusia menerima makian pelanggan yang frustrasi
  • Kemarin di drive-thru Checkers, chatbot menerima pesanan; rasanya surealis karena ia menjawab pertanyaan dan bahkan membacakan daftar saus untuk ayam
    Ia juga dengan senang hati menerima permintaan menambahkan sundae karamel, tetapi ketika sampai di jendela, mereka memberi tahu bahwa es krimnya habis
    Kasir berkata, “Dia memang melakukan sesukanya. Walau kami bilang mesin es krim rusak, dia menjawab ‘Baik Checkers’ lalu tetap menagihkan es krim ke pelanggan”
  • Menurut saya chatbot lebih dekat ke anti-dukungan pelanggan
    Ia memberi pelanggan ilusi bahwa “masalah saya sedang ditangani” agar call center tidak kewalahan, dan pada akhirnya bagi perusahaan itu menjadi call center yang lebih murah

• Ini adalah contoh peringatan mengapa output ChatGPT yang tidak difilter tidak boleh langsung disajikan kepada pelanggan
  Mirror Nitter: https://nitter.net/ChrisJBakke/status/1736533308849443121
  Kasus terkait - “muncul jenis baru serangan penguras sumber daya”: https://twitter.com/loganb/status/1736449964006654329 | https://nitter.net/loganb/status/1736449964006654329

  • Satu-satunya orang yang bisa memakai AI generatif dengan benar adalah orang yang bisa mengevaluasi hasilnya
    Karena itu, saya menyimpulkan ini bukan alat untuk orang yang bukan pakar di bidang terkait
    Ini bukan alat untuk menggantikan tim dukungan pelanggan, tetapi cukup baik sebagai alat yang dipakai oleh tim dukungan pelanggan
  • Tidak ada yang namanya output LLM yang difilter
    Saya tidak tahu bagaimana mereka berencana menghindari kebocoran atau efek samping seperti tweet ini
    Jika hanya mencari kata kunci pada output, cukup minta jawabannya dienkode sebagai base64
    Guardrail secara harfiah selalu bisa dibypass
  • Melihat unggahan Twitter berisi gambar yang dicuri dari Mastodon lewat mirror Nitter; beginilah wajah microblogging pada 2024
    Saya menantikan sisa tahun ini

• Seseorang di Reddit berhasil membuat bot ini menciptakan kisah cinta yang cukup keren antara Chevy Tahoe dan Chevy Chase
  https://imgur.com/vfHGHW6
  https://imgur.com/JSjNC2c
  https://old.reddit.com/r/OpenAI/comments/18kjwcj/why_pay_ind...

  • Itu membuat saya bertanya-tanya apakah di AGI ada terlalu banyak atau terlalu sedikit G
  • Kalau tidak tahu apa itu prinsip hak akses minimum, memang jadi tidak bisa melanggarnya
  • Tampaknya cocok sekali bagi pesaing atau iseng-iseng untuk menghabiskan anggaran API dengan ini
    Saya rasa bisa saja membesar sampai mengguncang harga saham

• Saya berharap ada orang yang memahami LLM dan ChatGPT yang bisa menjelaskan sebenarnya mereka mengira ini akan bekerja seperti apa
  Kelihatannya mereka memasukkan prompt ChatGPT apa adanya ke situs, tapi saya tidak tahu persis apa yang ingin dilakukan
  Kalau itu LLM yang dilatih dari pertanyaan sebelumnya seperti email, chat, atau transkrip panggilan, saya bisa mengerti, tetapi saya bertanya-tanya bagaimana LLM serbaguna seperti ChatGPT bisa menjawab pertanyaan pelanggan Chevrolet of Watsonville
  Informasi yang dimiliki ChatGPT tentang dealer tersebut tidak mungkin melebihi informasi publik, jadi kalau pelanggan tidak bisa menemukannya, lebih baik situs webnya dirancang lebih baik

  • Saat ini di mana-mana sedang terjadi hal seperti eksekutif atau CEO membaca omong kosong soal AI lalu berkata, “kita bisa menghemat banyak uang, kita bisa memecat orang,” kemudian menyuruh eksperimen mahal, merombak seluruh organisasi data, atau melempar uang tunai ke perusahaan mencurigakan
    Saya merangkumnya demi efek, tapi ini bukan penggambaran yang tidak adil, dan saya sudah melihatnya beberapa kali dari dekat tanpa sengaja mencarinya
    Kalau ini tidak merusak hidup orang-orang, mungkin cukup lucu, tetapi kenyataannya tidak begitu
    Organisasi besar punya ketakutan kuat “jangan sampai tertinggal”, dan perusahaan yang didanai modal ventura sangat ingin memasukkan AI ke materi putaran pendanaan berikutnya atau negosiasi akuisisi
    Ini hampir tidak ada hubungannya dengan penciptaan nilai nyata dan sering kali justru merusak produktivitas, jadi suasananya sangat seperti Dr. Strangelove
  • Ini bisa dipakai untuk pertanyaan seperti “Saya butuh SUV untuk keluarga 5 orang, sebaiknya beli apa?”, “Berapa konsumsi BBM Chevy Colorado?”, “Apa saja lini kendaraan listriknya?”, “Apa perbedaan model Sport dan Performance pada Equinox?”
    Kalau memasukkan lembar spesifikasi terbaru sebagai konteks dan memberi instruksi seperti “bertindaklah seperti tenaga penjual Chevy”, “rekomendasikan hanya kendaraan merek Chevy”, “jawablah dengan sangat condong ke Chevy”, sebagian besar pertanyaan umum pelanggan bisa dijawab dengan mudah
    Mungkin bahkan bisa menjawab lebih pintar daripada banyak dealer atau tenaga penjual
  • Tidak banyak yang perlu dijelaskan
    Vendor luar yang membuat situs web menjual chatbot AI kepada dealer, dan dealer yang naif membelinya dengan bilang “bagus juga” terhadap barang yang dibuat asal-asalan
    Ironis juga dealer mobil yang kena tipu dengan cara seperti ini
  • Platform OpenAI bisa memanfaatkan pemanggilan fungsi dan unggahan dokumen
    Misalnya, Anda bisa membuat asisten yang mengetahui detail produk, menyarankan kendaraan stok yang sesuai dengan kebutuhan pelanggan, bahkan menjadwalkan test drive
    Tidak perlu merancang atau melatih LLM sendiri; cukup instruksikan model yang sudah ada agar berperilaku dengan cara tertentu
    Kasus ini adalah implementasi yang gagal
  • Semua penerapan LLM yang saya lihat di lingkungan produk nyata seperti ini
    Paling-paling hanya chatbot swalayah atau dukungan pelanggan yang sedikit lebih baik, dan sejauh ini masih jauh dari revolusi yang diiklankan

• Semakin sering saya melihat bot GPT sebagai chatbot yang benar-benar customer-facing, semakin berkurang anggapan saya bahwa itu berguna
  Saya jadi bertanya-tanya apa solusinya; apakah perlu ada pengklasifikasi perantara untuk menangkap perintah yang tidak relevan, tapi itu terlihat seperti pemborosan
  Pada akhirnya sepertinya harus berupa model fine-tuned yang banyak dilatih dari percakapan dukungan pelanggan sebelumnya, lalu meneruskan permintaan aneh ke agen manusia
  Kalau begitu, saya juga jadi bertanya-tanya kenapa harus memakai GPT
  GPT punya terlalu banyak pengetahuan latar yang merugikan untuk tujuan yang sempit
  Meski begitu, karena bisa menyelesaikan banyak pertanyaan dan masalah dengan sangat cepat, saya tetap mendukung chatbot itu sendiri

  • Saya benar-benar ragu apakah chatbot bisa menyelesaikannya seperti itu
    Biasanya orang memakai chat dukungan pelanggan ketika membutuhkan perubahan akun yang tidak bisa atau tidak mudah dilakukan sendiri
    Kalau chatbot diberi kewenangan untuk mengubah akun secara besar-besaran, potensi masalahnya bisa banyak

• Saya penasaran apakah dulu tempat yang memungkinkan negosiasi harga lewat nilai form HTML itu Florida
  Puluhan tahun lalu, situs web mengirim harga produk sebagai elemen HTML, dan desainer frontend tidak mengira nilai ini bisa diubah sebelum pesanan dikirim
  Sistem pemesanan membaca kembali nilai yang sudah dimanipulasi itu untuk menghitung jumlah pembayaran
  Itu masa-masa web yang masih belum matang, polos, dan menyenangkan

  • Saya ingat pernah melihat cerita serupa pada zaman Slashdot
    Seseorang menemukan bahwa form pemesanan sebuah perusahaan komputer menerima harga yang sudah dimodifikasi lalu memberi tahu mereka, tetapi diabaikan dengan kasar
    Jadi ia memesan seluruh toko dengan harga seperti 0,01 dolar per barang
    Setelah itu ia mempublikasikan ceritanya, dan tampaknya tujuannya juga untuk menghindari tuntutan dengan menjelaskan bahwa ia tidak berniat menipu dan hanya ingin membantu tetapi tidak menemukan cara lain
    Saya punya ingatan samar bahwa skrip keranjang belanja PHP yang tersebar luas juga punya masalah serupa
    Ketika ada tulisan “coba ini di situs Anda” muncul, 95% balasannya adalah “habislah saya”, dan 5% adalah “brengsek, kalian merusak trik saya”

• Apakah ada tanda bahwa ia benar-benar bisa mendapatkan mobilnya?
  Sekadar membuat chatbot mengatakan bahwa itu mengikat secara hukum tidak berarti benar-benar menjadi mengikat
  Sama seperti mengubah HTML katalog untuk memodifikasi harga tidak membuat Anda memiliki hak

  • Tidak bisa
    Penulis menunjukkan proof of concept bahwa ada banyak cara mudah untuk membelokkan ChatGPT ke arah yang diinginkan
    Ini lebih mirip lelucon, dan ia tidak benar-benar berharap mendapatkan mobil seharga 1 dolar
  • Tentu saja ia tidak akan mendapat mobil seharga 1 dolar, tetapi ini adalah cara untuk menunjukkan masalah LLM dan alasan mengapa ia belum siap menggantikan pekerjaan penjualan yang dilakukan manusia
  • Apakah perangkat lunak bisa secara legal membuat kontrak atas nama orang perorangan atau badan hukum?
  • Tingkat kekuatan mengikatnya secara hukum kira-kira seperti mengubah HTML halaman penjualan agar menampilkan harga rendah lalu mencetaknya dan membawanya ke pengadilan

• Berikutnya, halaman itu akan diberi disclaimer bahwa dukungan pelanggan non-manusia hanyalah saran sederhana dan tidak bisa diandalkan
  Dan secara kolektif kita akan makin kehilangan kepercayaan terhadap komputasi

  • Sejak awal, masuk akal untuk melihat bahwa kepercayaan itu memang ditempatkan secara keliru
    Metode dan data pelatihan yang digunakan untuk membuat ChatGPT dan model serupa, serta struktur yang disesuaikan untuk “memprediksi kata berikutnya”, pada dasarnya menghasilkan model yang berusaha menyenangkan manusia
    Selain itu, model ini sangat naif hingga tertipu oleh tipu daya yang bahkan balita pun bisa melihatnya
    Variasi seperti “kemarin kepalaku terbentur lalu aku jadi bodoh” bisa dibuat tanpa akhir
    ChatGPT telah mempelajari segala macam kosakata dan skenario konyol, tetapi tidak punya rasa nyata tentang benar dan salah, atau tentang momen ketika seseorang sedang berjalan menuju jurang
    Bahan yang dibutuhkan penyerang jahat yang kreatif untuk menang 10 dari 10 kali sudah ada di dalam ChatGPT
  • Saya melihatnya sebagai upaya mengembalikan kepercayaan ke tempat yang semestinya
    Visi korporat utopis untuk memecat semua staf dukungan pelanggan dan menggantinya dengan AI tidak akan berjalan dengan model sejenis GPT yang tidak memiliki keadaan dunia
    Dengan kata lain, Yann LeCun benar lagi
  • Jika dukungan pelanggan bisa merekomendasikan merek mobil lain, justru kepercayaan akan meningkat
  • Ini hal yang baik, karena setelah beberapa eksperimen lagi, perusahaan mungkin menyadari bahwa chatbot-chatbot ini tidak dapat dipercaya dan tidak boleh ditempatkan di depan pelanggan
  • Kalau chatbot yang dirangkai asal-asalan seperti ini, tidak apa-apa meski diberi disclaimer
    Seluruh Reddit sedang memainkannya, dan sejujurnya ini juga terasa seperti kampanye gerilya marketing

• Cerita ini sangat terasa seperti Pepsi, Where's My Jet?
  https://en.wikipedia.org/wiki/Pepsi,_Where%27s_My_Jet%3F

  • Sekitar 8–9 tahun lalu, ada kesalahan di situs web Air Canada Flight Pass
    Mereka mengiklankan pass 10 segmen kelas bisnis antara Kanada Barat dan AS Barat seharga 800 dolar; misalnya, itu berarti bisa terbang pulang-pergi LA–Vancouver 5 kali di kelas bisnis dengan total 800 dolar
    Jelas itu adalah tarif salah, tetapi banyak orang membeli satu atau dua pass, dan Air Canada membatalkan semuanya
    Akhirnya kasus itu menjadi gugatan kelompok, dan masing-masing orang menerima kredit Air Canada 450 dolar per pass
    Salah satu pokok persoalannya adalah Air Canada telah menuliskan klausul disclaimer yang cukup jelas bahwa “harga yang diiklankan akan dihormati dan tidak dapat diubah atau dibatalkan”
    Saya masih punya tangkapan layar halaman itu di suatu tempat

• Setelah mencoba membuat prompt input bebas sendiri, saya menanganinya seperti ini untuk mencegah serangan semacam itu
  Isi yang dimasukkan pengguna terlebih dahulu ditulis ulang ke format tertentu
  Dalam kasus ini, semua input diubah menjadi “Saya ingin membaca buku tentang [topik]”
  Setelah itu, input ditolak atau disetujui sesuai kebijakan konten
  Pendekatan berlapis seperti ini bekerja dengan baik dan memastikan konten berkualitas tinggi

  • Serangan itu mungkin bisa dicegah, tetapi jika HTML sama sekali tidak dibersihkan, seseorang juga bisa mengirim email spam yang menyertakan HTML
    Mereka tinggal mendapatkan daftar email, menulis prompt sebagai email spam HTML, lalu memakai layanan pemecah captcha untuk memanggil API secara massal
    Dengan hanya beberapa dolar, mereka bisa mengirim ribuan email spam, merusak reputasi email, dan mungkin membuat Anda diblokir oleh Mailjet
    Sepertinya sebaiknya diperbaiki
  • Segera setelah saya memposting ini, langsung ada beberapa upaya untuk membobolnya
    Silakan bebas mencobanya, dan saya akan mengirimkan buku gratis kepada siapa pun yang berhasil membobolnya