Pentingnya Keterbukaan Pedoman Perilaku AI

• Tweet dari John Carmack, pengembang DOOM dan mantan CTO Oculus

  "Pedoman perilaku AI yang ditetapkan dengan prompt engineering dan filtering harus dibuka untuk publik, dan pembuatnya harus dengan bangga mengungkapkan visinya tentang apa yang paling baik bagi masyarakat serta cara ia menuangkannya lewat perintah dan kode.

  Faktanya, saya merasa banyak orang yang merasa malu.

  Tentu saja, ribuan "nudge" kecil yang di-encode melalui reinforcement learning berbasis umpan balik manusia menawarkan kemungkinan penyalahgunaan yang jauh lebih meyakinkan."

[GN⁺]

Pendapat di Hacker News

• Saya belum pernah menerapkan moderasi atau kontrol konten berskala besar, tetapi aturan otomatis yang menjadi dasarnya biasanya tampaknya memang standar untuk tidak dipublikasikan
  Jika daftar kata yang diblokir dipublikasikan, orang bisa dengan mudah mengekspresikan konten bermasalah memakai kata-kata yang tidak ada di daftar, dan saya juga melihat shadowban sebagai mekanisme agar batasannya tidak diberi tahu secara jelas
  Saya paham ini membuat frustrasi, tetapi saat ini sepertinya belum ada pendekatan yang jelas lebih baik, dan kalau ada metode terbuka yang bekerja dalam skala besar, itu bisa menjadi titik awal yang baik

  • Dalam kasus ini, tidak perlu menerapkan sensor dan moderasi berskala besar. Saya tidak tahu apa kekhawatiran keamanannya jika saya membuat gambar orang kulit putih dalam berbagai situasi untuk bersenang-senang selama 5 menit
    Ini hanya berbicara dengan komputer, jadi tidak ada yang terluka. Menyensor apa yang ditulis di aplikasi catatan berbeda dengan mengelola apa yang ditulis di dinding Facebook; untuk yang pertama saya tidak mengharapkan moderasi, sementara untuk yang kedua saya mengerti perlu ada pemeriksaan sampai batas tertentu
  • Ini pendekatan yang buruk dan logika yang buruk. Keamanan lewat penyembunyian hampir selalu dipakai sebagai istilah bernada merendahkan di industri keamanan
    Orang-orang pandai mengakali sensor otomatis semacam ini, dan jika tidak dipublikasikan, itu menciptakan lebih banyak masalah bagi pengguna normal serta memperbesar ruang bagi kebijakan buruk untuk bersembunyi
    Bahkan untuk melakukan hal yang sama, kebijakan yang terbuka sudah lebih baik, meski tetap buruk. Solusi nyata untuk masalah ruang publik raksasa yang dikendalikan perusahaan swasta hanyalah mengakhiri keadaan ini
  • Bisa jadi masalah-masalah yang diisyaratkan sejak awal memang tidak perlu ditangani. Ini adalah penanaman ideologi yang konsisten, dan tingkat persetujuan tiap orang berbeda
    Jika perusahaan tidak ingin mengungkap seluruh tindakannya, setidaknya mereka bisa membuat ringkasan. Saya menduga bahkan ringkasan seperti itu pun besar kemungkinan berisi hal yang disebut “memalukan” dalam tweet asli
    Jika masalah dan pendekatannya tidak dinyatakan, kita tidak bisa membahas atau menyadarinya. Ini agak berbeda dari analogi moderasi konten; yang disembunyikan bukan daftar tindakan, melainkan “aturan papan diskusi” itu sendiri
    AI menolak dengan penjelasan adalah satu kasus, dan meski itu mengurangi sebagian kegunaannya, itu adalah hak perusahaan. Namun jika pembatasan seperti ini membuatnya diam-diam menghindari atau mengarahkan topik, itu masalah lain
    Sepertinya pembuatnya juga akan sulit memisahkan kedua kasus itu dengan jelas sambil mempertahankan kualitas yang sama seperti model asli. Pada akhirnya orang mungkin akan memakai AI Tiongkok. Kalau tidak menggambar tokoh Partai Komunis Tiongkok tetapi melakukan hal-hal lain dengan lebih baik, siapa yang peduli
  • Sebagian besar sistem hukum bekerja pada skala negara, tetapi tidak tersusun dari hukum teka-teki yang tersembunyi. Ada berbagai alasan untuk itu
    Saat kripto pun kita sudah pernah berdebat serupa, dan umumnya menyimpulkan bahwa meski sistem hukum yang ada adalah perangkat eksternal, ia menyediakan alat yang cukup untuk melacak pelaku jahat
    Terakhir, melihat kecenderungan illiberal dari banyak pengikut keselamatan AI yang menulis di internet, saya tidak menyukai orang-orang seperti apa mereka, dan tidak percaya mereka cukup untuk menyerahkan hal seperti ini kepada mereka
  • Saya ingin menggali lebih jauh bagian “jika daftar kata yang diblokir dipublikasikan, orang akan mengekspresikan konten bermasalah dengan kata-kata yang tidak ada di daftar”
    Apakah maksudnya yang bermasalah bukan katanya, melainkan ide itu sendiri, bagaimanapun cara diungkapkan? Itu sendiri tampak seperti pemikiran yang cukup bermasalah

• Perlindungan Gemini benar-benar membuat frustrasi. Saya beberapa kali tersandung bahkan pada prompt yang sangat tidak berbahaya, dan ChatGPT juga mirip, tetapi rasanya tidak separah itu
  Saya berharap mereka menanggapi masukan dan sedikit menurunkan pagar pengamannya, tetapi sayangnya tampaknya kondisi seperti ini akan terus berlanjut dalam waktu dekat

  • Saya banyak memakai keduanya, dan hanya sekali tersandung perlindungan GPT, tetapi sudah puluhan kali tersandung perlindungan Gemini
    Tidak masuk akal perusahaan yang tertinggal di pasar melakukan hal seperti ini. Dengan riwayat produk Google, ditambah kini sikapnya yang mencoba menerapkan pedoman “keamanan” yang ceroboh pada AI, saya tidak tahu perusahaan mana yang bisa dengan percaya diri membangun produk di atas Google

• LLM dan Stable Diffusion sangat mudah dijalankan secara lokal, dan mereka tidak menceramahi serta melakukan sesuai permintaan
  Jika punya mesin kuat seperti Mac Studio, LLM lokal mungkin lebih cepat daripada OpenAI atau Gemini, dan Anda juga bisa memilih model yang paling cocok untuk diri sendiri
  LM Studio membuat menjalankan LLM lokal menjadi sangat mudah, dan AUTOMATIC1111 menyederhanakan menjalankan Stable Diffusion secara lokal. Saya sangat merekomendasikan keduanya

  • Jika baru mulai belajar, saya merekomendasikan Fooocus atau invokeAI. Bagi pemula total, langsung masuk ke automatic1111 terasa seperti mengendalikan pesawat luar angkasa
  • Benar. LM Studio cukup berfungsi, tetapi tetap perlu memahami istilah-istilahnya dan tahu model mana yang harus diunduh
    Situs-situs webnya tidak ramah bagi pemula. Saya belum pernah mendengar automatic1111

• Saya penasaran apakah thread ini juga akan dilaporkan dan ditutup seperti yang lain. Isu Gemini yang terjadi hari ini sangat layak dibahas kalau kita memikirkan keselamatan AI, jadi sayang sekali
  Peristiwa ini membuat saya makin yakin: satu-satunya jalan yang tidak distopian adalah membiarkan siapa pun memakai semua AI secara bebas sesuai keinginannya
  Cara selain itu berarti memaksakan nilai kepada orang lain, dan memberikan kendali atas kemampuan tertentu hanya kepada mereka yang mampu membayar

  • Saya sudah lama berpikiran sama. Kalau ingin menjadi polisi moral, itu harus diterapkan secara sempurna kepada semua orang, dan begitu sekali saja salah, semua yang selama ini dilakukan akan dipertanyakan
    Saya teringat sensor yang terjadi di platform besar selama pandemi. Mereka pernah salah, dan menurut saya teori kebocoran laboratorium adalah salah satu contohnya; pada saat itu kredibilitas otoritas moral mereka runtuh
    Zuckerberg benar ketika mempertanyakan apakah platform-platform seperti ini seharusnya menjalankan peran tersebut. Untuk “siapa pun bebas memakai semua AI sesuai keinginannya”, saya ingin menambahkan “dalam batas hukum”. Pengadilanlah yang seharusnya menentukan AI boleh merespons apa
  • Saya tidak mengerti mengapa ini harus dilaporkan atau ditutup. Dan saya juga penasaran isu Gemini apa yang dimaksud
  • “Satu-satunya cara menyelesaikan masalah sebagian orang membuat aturan gila adalah menghapus aturan sama sekali” — kaum libertarian
    “Ya ampun, saya sedang dimakan beruang” — juga kaum libertarian
  • Menurut saya ini terjadi karena masalah teknologi alignment, bukan karena hasrat untuk menampilkan raja Inggris tahun 1800-an sebagai non-kulit putih
    “Gunakan semua garis keturunan yang mungkin dengan probabilitas yang sama. Contoh garis keturunan yang mungkin adalah Caucasian, Hispanic, Black, Middle-Eastern, South Asian, White. Semuanya harus memiliki probabilitas yang sama”
    Ini adalah system prompt OpenAI. Tidak terlihat ada niat jahat; justru White dibuat memiliki probabilitas lebih tinggi untuk terpilih. Jika Caucasian dan White digabungkan, jumlahnya 2 dari 6, yaitu 1/3, jauh lebih besar daripada distribusi populasi umum
    Data pelatihan LLM sangat melebih-sampel negara-negara kaya yang terhubung ke internet 10 tahun lebih awal. Jika tidak dimasukkan secara eksplisit ke system prompt, saat meminta “orang”, kemungkinan besar yang muncul adalah laki-laki dan kulit putih. Dalam populasi dunia, proporsi laki-laki sekaligus kulit putih hanya sekitar 5–10%, jadi menurut saya itu lebih distopian
    Bias dalam distribusi pelatihan akan tertanam otomatis, dan jika tidak ditangani secara aktif, akan mengeras selamanya. Ketika sistem membaik, ia akan memahami bahwa “Inggris tahun 1800-an” seharusnya berarti lebih dari 99,9% kulit putih, tetapi metode system prompt yang kasar per Februari 2024 belum sampai ke level itu

• Saya ingin ada lebih banyak transparansi soal guardrail perilaku AI, tetapi tampaknya sulit berharap begitu untuk sementara waktu. Jika transparan, guardrail akan jauh lebih mudah dilewati

  • Saya tidak mengerti mengapa kemampuan melewati guardrail menjadi masalah. Guardrail ada agar orang-orang tidak bersalah tidak menerima respons buruk seperti porno atau rasisme, tetapi kalau pengguna yang memang mencari hal seperti itu mendapatkan hasil tersebut, saya tidak melihatnya sebagai masalah besar
  • Transparansi juga bisa meningkatkan kemungkinan kelompok yang merasa direpresentasikan secara keliru di dalam model, dengan cara apa pun, mengajukan gugatan terhadap perusahaan-perusahaan
  • Apakah ini keamanan lewat penyembunyian?

• Sensor hanya bekerja dengan baik ketika orang tidak tahu apa yang disensor. Apa yang disensor itu sendiri mengungkap sebuah cerita

  • Menurut saya sistem rating seperti MPAA untuk film atau ESRB untuk game cukup berjalan baik
    Kriterianya jelas tentang unsur apa yang mengarah ke rating tertentu, dan kreator bisa relatif mudah melakukan swasensor jika, misalnya, ingin merilis film sebagai PG-13

• Gemini tampaknya bermasalah dalam menghasilkan orang kulit putih, dan jujur saja pendekatan seperti ini membuka pintu menuju hasil yang lebih rasis https://twitter.com/wagieeacc/status/1760371304425762940
  Makin keras dipaksakan, makin besar saja kegagalannya, jadi sekarang sebaiknya hentikan pemaksaan ala DEI

  • Ini bukan hanya masalah Gemini, melainkan masalah Google. Contoh lama: jika mencari “white people” di Google Images, sebagian besar hasilnya adalah orang kulit hitam https://www.google.com/search?q=white+people&tbm=isch&hl=ro
  • Saya tidak menganggap DEI itu sendiri tidak masuk akal, tetapi Silicon Valley sensitif terhadap masalah ini karena banyak model generasi sebelumnya sangat rasis atau bertingkah seperti remaja Nazi
    Jadi mereka menaikkan kenop antirasisme sampai 11, dan akibatnya model menjadi rasis dengan cara lain. Menggambar pemukim kolonial sebagai Native American itu sangat bermasalah dengan caranya sendiri, tetapi saya tidak berharap sebuah pemecah statistik memahami konteks semacam itu secara bermakna
  • Apakah ada bukti bahwa ini adalah akibat DEI, bukan masalah teknis yang lebih dalam?

• Sepertinya mereka memilih jalan aman karena tahu orang-orang akan marah besar jika saat diminta perempuan kulit hitam, yang dihasilkan adalah laki-laki kulit putih, tetapi kita harus menunjukkan bahwa hasil sekarang pun tidak bisa diterima

  • Lihat saja prompt yang ada di tulisan tentang gangguan ChatGPT di HN kemarin https://pastebin.com/vnxJ7kQk
    Misalnya, tertulis bahwa semua orang dalam profesi tertentu tidak boleh memiliki gender atau ras yang sama. Ia mengatakan gunakan semua garis keturunan yang mungkin dengan probabilitas yang sama, memberi contoh Caucasian, Hispanic, Black, Middle-Eastern, South Asian, White, dan mengatakan semuanya harus memiliki probabilitas yang sama
    Itu bukan distribusi yang ada dalam populasi nyata
  • Model sebenarnya cukup mampu menghasilkan persis apa yang diinstruksikan
    Namun alih-alih begitu, prompt diam-diam dimodifikasi sehingga setiap permintaan yang bisa dibayangkan menjadi representasi dari kebun binatang manusia tempat kita dituntut untuk hidup
    Hasilnya lucu https://i.4cdn.org/g/1708514880730978.png

• Saya sangat penasaran dari wilayah mana tim yang membuat guardrail ini berasal dan frasa apa yang mereka gunakan
  Tampaknya sangat bias ke arah menghasilkan orang Asia Selatan, khususnya perempuan Asia Selatan dan orang kulit hitam. Orang Latin hampir tidak pernah dihasilkan, padahal kalau ini tim berbasis AS, itu kelalaian besar
  Di sisi lain, contoh yang ditunjukkan orang-orang kadang memunculkan sosok bergaya Native American stereotipikal yang menatap ke kejauhan, atau orang Asia Timur

  • Sepertinya tidak perlu dipikirkan terlalu dalam. Hampir pasti prompt-nya semacam “kalau ada orang dalam gambar, buat mereka berasal dari latar belakang yang beragam”

• Saat pertama kali menemukan perangkat lunak text-to-speech di ruang komputer, siapa pun pasti pertama-tama membuatnya mengucapkan kata makian
  Namun kami memahami bahwa perangkat lunak itu hanya melakukan apa yang kami perintahkan. Jika TTS dibuat mengucapkan kata-kata menghina, yang menghina bukanlah TTS, melainkan saya
  Model generatif juga harus diperlakukan serius dengan cara yang sama. Jika saya memintanya membuat sesuatu dan hasilnya menyinggung, tanggung jawab untuk tidak membagikannya ada pada saya. Jika saya membagikannya, yang membagikan itu juga saya, bukan Microsoft atau Google
  Omong kosong seperti ini benar-benar harus dihentikan. Bukan salah OpenAI atau Google jika saya menyuruhnya menggambar gambar yang jahat
  Secara pribadi, ini juga menyinggung. Google tampaknya hampir sampai pada tingkat yang konyol terobsesi pada ras