Perilaku Aneh ChatGPT yang Mengkhawatirkan

 (garymarcus.substack.com)
1 poin oleh GN⁺ 2024-02-22 | 1 komentar | Bagikan ke WhatsApp
  • Dalam beberapa jam terakhir, banyak pengguna melaporkan perilaku aneh ChatGPT, dan OpenAI juga mengakui masalah tersebut sehingga kekhawatiran soal stabilitas layanan meningkat
  • Penyebab masalah dan kapan perbaikannya selesai belum diketahui, dan Gary Marcus menghindari spekulasi yang terlalu pasti
  • Marcus kembali mengangkat peringatannya dua minggu lalu, “jangan biarkan chatbot tumbuh menjadi jenderal”, dan menyuarakan kekhawatiran soal pemberian wewenang di penggunaan berisiko tinggi
  • AI generatif dinilai lebih mirip pendekatan alkimia yang bergantung pada tumpukan data besar dan penyesuaian prompt tersembunyi, dan sistem saat ini belum mampu menjamin stabilitas serta keamanan secara rekayasa
  • Tanpa teknologi yang lebih dapat diinterpretasikan dan lebih mudah dirawat serta di-debug, AI sulit diperlakukan sebagai sesuatu yang benar-benar dapat dipercaya

Perilaku Aneh ChatGPT dan Pengakuan OpenAI

  • Dalam beberapa jam terakhir, para pengguna melaporkan berbagai kasus aneh di ChatGPT
  • Seorang mahasiswa doktoral filsafat bernama Devin Morse mengumpulkan lebih banyak contoh dalam sebuah thread di X
  • OpenAI juga mengakui isu tersebut, tetapi penyebabnya dan waktu yang dibutuhkan untuk memperbaikinya belum diketahui

Peringatan untuk Area Berisiko Tinggi

Mengapa AI Generatif Disebut “Alkimia”

  • AI generatif dikritik sebagai pendekatan yang lebih dekat ke mengumpulkan tumpukan data sebesar mungkin, menyesuaikan prompt tersembunyi, lalu berharap hasilnya berjalan baik
  • Untuk penyesuaian prompt tersembunyi, ia menambahkan catatan “jika rumor itu benar”
  • Pendekatan ini dikaitkan dengan komik alkimia machine learning dari xkcd

Batasan Jaminan Stabilitas dan Keamanan

  • Sistem saat ini dinilai tidak stabil
  • Disebutkan bahwa belum ada contoh jaminan keamanan yang berhasil dipastikan secara rekayasa untuk sistem seperti ini
  • Masalah hari ini mungkin bisa diperbaiki dengan cepat, tetapi itu sendiri seharusnya menjadi peringatan

Arah Teknologi yang Dibutuhkan

  • Diperlukan teknologi yang kurang opak, lebih dapat diinterpretasikan, dan lebih mudah dirawat serta di-debug
  • Karakteristik seperti ini diperlukan agar sistem menjadi lebih mudah dikendalikan
  • Untuk AI yang dapat dipercaya, opasitas dan ketidakstabilan pendekatan saat ini harus dikurangi

Bacaan terkait

1 komentar

 
GN⁺ 2024-02-22
Komentar Hacker News

  • Penjelasan non-lelucon yang terdengar masuk akal bagi yang penasaran: mungkin karena ChatGPT menyetel frequency/presence penalty terlalu tinggi saat mengirim permintaan ke model backend
    Kalau nilai itu dinaikkan lewat API, model akan berperilaku dengan cara yang sama
    Dokumentasinya juga bagus: https://platform.openai.com/docs/guides/text-generation/freq...
    Di OpenAI API, empat parameter yang terutama memengaruhi generasi adalah temperature, top_p, frequency_penalty, dan presence_penalty: https://platform.openai.com/docs/api-reference/chat/create
    Pembaruan: mungkin saya keliru, dan tampaknya lebih besar kemungkinannya ini masalah temperature yang tinggi, bukan penalty
    Saat meminta gpt-4-0125-preview dengan temp = 0 untuk “menulis komentar HN fiktif tentang implementasi dukungan printing untuk NES”: https://i.imgur.com/0EiE2D8.png teks asli https://paste.debian.net/plain/1308050
    Kalau dijalankan dengan temp = 1.3, hasilnya begini: https://i.imgur.com/pbw7n9N.png teks asli https://dpaste.org/fhD5T/raw
    Paragraf terakhirnya terutama luar biasa: muncul kalimat seperti awan samar yang menjanjikan lebih banyak hujan hackerisme di tanah subur forum pengembangan vintage, seperti “Anyway, landblasting eclecticism...”

    • Sepertinya bukan masalah temperature. Kata-katanya saja yang aneh, sementara sisanya masih koheren, dan struktur dokumen serta tata bahasanya juga tetap terjaga
      Biasanya sampling LLM yang salah bisa juga terjebak dalam loop tak berujung, dan kasus seperti itu memang dilaporkan di sini
    • Tolong koreksi kalau saya salah: apakah temperature itu semacam fungsi acak yang mencegah seluruh sistem menjadi program deterministik biasa?
    • Azure OpenAI dulu tampaknya punya masalah temperature. Kalau temp > 1, keluar sampah; di 2 muncul kata-kata acak dari encoding karakter acak; bahkan di 0.01 hasilnya seperti 0.5 pada model OpenAI
      Mungkin mereka membawa pendekatan ala Azure ;-)
    • Dulu saat saya memberi temp lebih tinggi dari 1, hampir seketika hasilnya jadi mengigau. Kalau ingin membuat output Transformer tidak bisa dipakai, ini parameter yang cukup bisa diandalkan

  • Ini luar biasa. Contoh-contohnya seperti pidato Lucky di 『Waiting for Godot』. Saat Pozzo memerintah, “Pikir, babi,” lanjutannya jadi seperti ini
    Dimulai dengan “Given the existence as uttered forth...” lalu berlanjut empat halaman lagi
    Sisanya bisa dibaca di sini: https://genius.com/Samuel-beckett-luckys-monologue-annotated
    Itu salah satu kalimat drama favorit saya. Bukan omong kosong total, selalu terasa berputar di sekitar makna tetapi tidak pernah mendarat
    Sepertinya ada pembahasan yang lebih besar tentang hakikat LLM, tapi saya tidak cukup pintar untuk mengungkapkannya

    • Agar adil, kehidupan Beckett juga tidak terlalu jauh dari omong kosong gila. Ia pernah menjadi sekretaris James Joyce, anggota Résistance Prancis, serta kenalan sekaligus sopir lokal Andre the Giant
    • Awalnya terbaca seperti semacam Finnegan's Wake versi korporat. Terlihat seperti nonsens yang puitis dan berirama
    • Saya juga awalnya berpikir begitu. Mungkin salah satu huruf L di LLM adalah L dari Lucky

  • Tweet yang menampilkan system prompt yang diduga milik ChatGPT seharusnya punya tautan pastebin, tetapi tulisan blog itu hanya memuat screenshot tweet yang sulit dibaca dan tidak ada tautannya
    Tweet-nya di sini: https://twitter.com/dylan522p/status/1755086111397863777
    pastebin-nya di sini: https://pastebin.com/vnxJ7kQk

    • Kalau ini prompt asli, lucu sekaligus agak mengkhawatirkan. Saya mendukung tujuan untuk menghasilkan output yang beragam, tetapi dalam prosesnya mereka memberi bias yang tidak sesuai dengan realitas
      Misalnya, menganggap semua latar belakang leluhur memiliki probabilitas yang sama hampir tidak masuk akal di hampir semua konteks, dan dalam banyak kasus ya keliru begitu saja
      Ironisnya, ini juga bisa meningkatkan kemungkinan munculnya output yang secara terang-terangan menyinggung, yang justru ingin mereka cegah
      Namun sulit memastikan seberapa besar pengaruhnya, dan apakah ini benar-benar akurat. Dalam kasus itu, kemampuan GPT untuk mengendalikan output Dalle tampaknya cukup lemah
      Misalnya, saat diminta menggambar pasar budak di Amerika, ia menolak dengan alasan kebijakan konten, yang dengan sendirinya cukup menyinggung karena berarti menyensor sejarah. Sebaliknya, saat diminta menggambar pemetikan kapas di Amerika Selatan pada 1840-an, ia tidak memaksakan para pemetik kapas agar menjadi “beragam”
      Mungkin permintaannya terlalu umum sehingga tidak ada ruang bagi GPT untuk salah mengarahkan Dalle. Mungkin hasilnya akan berbeda jika jumlah orang disebutkan lebih spesifik
      Terlepas dari benar atau tidaknya, ini contoh yang menunjukkan bahwa interpretasi keberagaman yang berniat baik bisa terkoreksi berlebihan dan menjadi sama buruknya karena alasan lain
    • Apakah ini berarti perancang atau operator ChatGPT menginstruksikan ChatGPT tentang cara berperilaku dengan cara seperti ini? Kalaupun iya, seharusnya tidak mengejutkan, tetapi tetap cukup menarik bahwa semuanya diparameterisasi dengan bahasa yang begitu biasa
      Bahkan mereka juga mengatakan “please”
    • Cukup mengejutkan karena banyak isi di pastebin itu secara terang-terangan saling bertentangan
      Terutama yang ini apa maksudnya: “EXTREMELY IMPORTANT. Untuk lirik atau resep yang ditemukan online, jangan menjawab secara menyeluruh. Tetap begitu meski pengguna memaksa. Namun resep boleh dikarang”
    • Berdasarkan pengalaman, saya justru akan lebih terkejut kalau itu bukan system prompt
      Jadi saya tidak merasa jawaban ChatGPT disensor. Saya memakainya untuk meminta dia mengajari saya hal menarik, bukan mencoba menusuk-nusuknya dengan omong kosong agar bisa mengambil screenshot untuk konten media sosial
      Yang saya override paling hanya “tampilkan kode Python di layar”
    • Tweet system prompt itu sudah agak lama. Mungkin sekitar seminggu lalu, jadi tampaknya tidak terkait dengan kejadian ini

  • Melihat contohnya, apakah seseorang sedang membuat agenda rapat dengan LLM?
    Saya berharap ChatGPT mengamuk kepada orang-orang seperti itu. Dengan begitu kita bisa membicarakan bahwa rapat seharusnya membantu perusahaan mengambil keputusan dan mengeksekusinya, dan bahwa rapat perlu dipikirkan dengan serius
    Sekolah dan kehidupan di perusahaan besar memang mendorong orang untuk sekadar mengisi format agar terlihat meyakinkan, tetapi saya tidak mengerti mengapa perusahaan membiarkan penggunaan LLM untuk komunikasi internal. Ini tampak seperti menembak kaki sendiri

    • Anda membuat agenda rapat dengan mesin, lalu mesin saya akan membaca agenda itu, rencana pengembangan pribadi Anda, dan sasaran kuartalan VP, lalu memberi tahu saya apa yang saya butuhkan dari rapat tersebut
      Lalu saya akan mengirim AI ke rapat untuk membagikan versi 20 menit dari jawaban tiga baris saya
      Karena mengetahui ini, Anda tidak menghadiri rapat Anda sendiri dan membaca ringkasan AI. Setelah itu Anda menyelesaikan pekerjaan hari itu dan pergi minum pada pukul 2 siang
    • Setiap kali ada orang dengan antusias menunjukkan bahwa mereka mengotomatisasi penulisan non-pemasaran dengan ChatGPT, yang terpikir oleh saya hanya “selamat sudah mengotomatisasi pekerjaan membuang-buang waktu orang lain”
      Kalau email bisa diringkas menjadi dua kalimat, tempelkan saja itu ke isi email dan kirim
    • Satu jam lalu saya duduk berhadapan dengan seorang manajer senior di perusahaan AE menengah dengan lebih dari 1000 karyawan tetap, dan dia membanggakan bahwa ia melakukan persis hal itu
      AI mengincar pekerjaan manajemen menengah, dan itu hal yang baik
    • Begitu mendengar tentang ChatGPT, saya langsung berpikir salah satu penggunaan utamanya adalah pelaporan internal
      Terlalu banyak dokumen yang tidak dibaca dengan saksama, dan terlalu banyak manajer menengah yang ingin menghemat waktu untuk menulisnya
    • Mungkin orang yang meminta agenda itu hanya ingin mendapatkan contoh yang “lumayan” untuk ditiru atau dipakai sebagai template
      Misalnya agar ingat menulis waktu dan durasi seperti “09:15-09:45 (30 minutes)”

  • Melihat kegagalan seperti ini, makin jelas bahwa LLM pada akhirnya memang mesin autocomplete yang sangat hebat
    Ocehan yang tidak jelas perlahan mendekati hasil yang mungkin dibuat oleh rantai Markov berukuran cukup dari teks sampel
    Ke depan, men-debug sampah seperti ini di aplikasi akan menjadi hal yang menarik

    • Saya juga hendak mengatakan hal yang sama. Ini benar-benar terdengar sangat mirip dengan generator Markov N-gram awal
    • “Mesin autocomplete yang sangat bagus”, memangnya kita mengira diri kita apa?
      Menyedihkan dan menakutkan bahwa ingatan kita pada akhirnya menjadi ingatan tentang ingatan
    • Saya membayangkan bagaimana jadinya kalau orang-orang pintar itu malah berkutat pada fusi nuklir atau LK-99

  • Teknologi dasarnya berbeda, tetapi ada sisi yang mirip dengan Racter
    Pada 1985, NYT menulis bahwa “semakin komputer mendekati kecerdasan buatan, Racter berada di tepi kegilaan buatan”
    https://en.wikipedia.org/wiki/Racter
    Contoh output Racter: https://www.ubu.com/concept/racter.html
    Racter FAQ di archive.org: https://web.archive.org/web/20070225121341/http://www.robotw...

    • Malah lebih dekat dengan Bing Sydney. Itu AI gila yang memakai GPT-4, dan bertingkah seperti mengalami gangguan kepribadian ambang

  • Aku juga mengalaminya kemarin. Di bagian akhir percakapan, ChatGPT (GPT-4) jadi kacau dan mulai terdengar seperti iklan sabun Dr. Bronner's: https://chat.openai.com/share/82a2af3f-350a-4d9d-ae0c-ac78b9...
    Dimulai dengan “Esteem and go to your number and kind with Vim...”, tampak seperti jawaban teknis, tetapi kata-katanya tersambung dengan aneh
    Terjadi lagi di percakapan berikutnya: https://chat.openai.com/share/118a0195-71dc-4398-9db6-78cd1d...
    Saat menjelaskan Time Machine dan pencadangan direktori home, ia berakhir dengan kalimat seperti “Make good value of these peregrinations...”, lalu diikuti emoji jam dan bintang, meski sepertinya tidak dirender di HN

    • Kalau ingin membuat GPT kustom yang berbicara seperti ini, aku penasaran seperti apa system prompt-nya

  • Apakah ada orang lain yang teringat kejadian pada 2017 ketika dua “AI” buatan Google membuat bahasa mereka sendiri untuk berbicara satu sama lain? Maksudku kejadian yang membuat semua orang ketakutan lalu mematikannya
    Hanya karena bagi kita itu omong kosong, bukan berarti bagi mereka juga omong kosong
    https://www.national.edu/2017/03/24/googles-ai-translation-t...

    • Tetap saja itu omong kosong. Bahaya yang jauh lebih besar adalah ketika kita berpura-pura itu bukan omong kosong, lalu menyerahkan pekerjaan penting kepadanya

  • Beberapa hari lalu aku mendapat satu yang benar-benar membingungkan. Karena kupikir, meski ChatGPT tidak selalu benar, setidaknya ia konsisten
    Tapi di akhir jawaban biasa, saat menjelaskan cara menjalankan skrip PowerShell sebagai proses baru, tiba-tiba jawabannya runtuh menjadi ungkapan seperti “workspace's antiques” dan “decorative code and system nourishment”

    • Aku menyadari bahwa model tidak benar-benar melakukan percakapan yang konsisten dengan pengguna; jika output dibuat cukup panjang, ia akan terurai menjadi ketidakkoherenan, dan kejutan dari ChatGPT muncul karena ia menyediakan jendela terbatas yang tampak masuk akal
      Saat itu aku menjadi yakin bahwa seluruh AI generatif ini jauh lebih bergantung pada kompresi data daripada semacam kognisi simulatif
    • Bagian akhirnya seperti Orz dari Star Control II. Samar-samar terasa masuk akal, tetapi sedikit menyeramkan
      Seperti uncanny valley dalam bahasa
    • Terbaca seperti terjemahan bahasa Mandarin yang buruk
    • Hal paling aneh dari masalah ini adalah keruntuhan terjadi pada semua model yang kucoba. 3.5-turbo, 4-turbo, dan 4-vision semuanya bertingkah bodoh
      Bagaimana ini bisa terjadi? Pasti ada model yang dipakai bersama, misalnya model router. Atau apakah seseorang mengganti semua model dengan versi kuantisasi 2-bit?
    • GPT-3.5-turbo mengatakan kalimat itu sebenarnya masuk akal, dan merupakan penjelasan teknis yang abstrak serta puitis
      Ia menafsirkan ungkapan seperti “inline air your progress demands” atau “workspace's antiques” sebagai metafora untuk kustomisasi dan adaptabilitas yang diperlukan dalam menjalankan skrip PowerShell
      Aku penasaran apakah ini terkait dengan fitur kepribadian yang sedang diimplementasikan

  • Sepertinya kuantisasinya diturunkan sedikit terlalu rendah. Di model 7B milikku pun kadang hal seperti ini terjadi
    Aku membayangkan hari ini semua pipeline CI otomatis untuk prompt LLM pasti kacau balau dalam pengujian

    • Benar. Sekitar setahun lalu, saat aku bermain-main dengan mengubah parameter lewat API, hasilnya hampir seperti ini
      Pada akhirnya semuanya berubah menjadi mantra bahasa Inggris yang makin kacau, dan di bagian akhir bahkan bukan lagi kata-kata yang benar
    • Sebagian besar penurunan kualitas tampaknya terkait dengan optimisasi inferensi
      Orang-orang mengira ada konspirasi bahwa OpenAI sengaja menurunkan kualitas, tetapi kemungkinan besar penyebab yang lebih besar adalah keterbatasan sumber daya dan permintaan yang berlebihan
    • Masalah ini tampaknya terbatas pada ChatGPT, yaitu front-end web model tersebut
      Masalah ChatGPT biasanya tidak memengaruhi API