Pentingnya Keterbukaan Pedoman Perilaku AI

• Tweet dari John Carmack, pengembang DOOM dan mantan CTO Oculus

  "Pedoman perilaku AI yang ditetapkan dengan prompt engineering dan filtering harus dibuka untuk publik, dan pembuatnya harus dengan bangga mengungkapkan visinya tentang apa yang paling baik bagi masyarakat serta cara ia menuangkannya lewat perintah dan kode.

  Faktanya, saya merasa banyak orang yang merasa malu.

  Tentu saja, ribuan "nudge" kecil yang di-encode melalui reinforcement learning berbasis umpan balik manusia menawarkan kemungkinan penyalahgunaan yang jauh lebih meyakinkan."

[GN⁺]

Komentar Hacker News

• Setelah Google mendapat kritik karena model pengenalan gambar sempat mengenali orang kulit hitam sebagai gorila, tampaknya mereka berusaha mengejar representasi keberagaman secara berlebihan pada sistem pembuatan gambar.
• Saya memang tidak pernah terlibat langsung dalam manajemen konten atau moderasi skala besar, tetapi memahami bahwa aturan otomatis pada umumnya tidak dipublikasikan karena perlu semacam “enkripsi” untuk keamanan. Misalnya, jika daftar kata larangan dibuka, orang bisa dengan mudah menemukan cara mengekspresikan konten bermasalah menggunakan kata-kata yang tidak ada dalam daftar. Namun sepertinya saat ini belum ada pendekatan yang lebih baik.
• Gemini bermasalah dalam menghasilkan karakter berkulit putih, dan itu bisa memicu masalah diskriminasi yang lebih parah. Usaha keberagaman, keadilan, dan inklusivitas (DEI) bisa justru gagal.
• Safeguard Gemini sangat ketat, sering memblokir prompt yang sebenarnya tidak berbahaya. ChatGPT juga serupa, tetapi tidak seburuk Gemini. Saya berharap melalui umpan balik safety-nya bisa sedikit dilonggarkan, tetapi saya pikir ini akan terus terjadi dalam waktu dekat.
• LLM (large language model) dan Stable Diffusion bisa dijalankan dengan mudah secara lokal dan mengikuti permintaan pengguna. Jika Anda punya komputer yang cukup kuat, ini bisa berjalan lebih cepat dari OpenAI atau Gemini. LM Studio dan AUTOMATIC1111 membuat jalur untuk menjalankan LLM dan Stable Diffusion secara lokal jadi lebih mudah.
• Sensor efektif hanya ketika kamu tidak tahu apa yang disensor. Konten yang disensor itu sendiri sudah menyampaikan pesan.
• Saya ingin melihat transparansi yang lebih tinggi pada pengamanan perilaku AI, tetapi tidak mengharapkan itu akan terjadi segera. Transparansi dapat memudahkan orang untuk mengakali sistem.
• Google kemungkinan memilih jalan aman karena tahu orang akan marah jika permintaan "wanita berkulit hitam" menghasilkan "pria berkulit putih", namun kita juga harus menunjukkan bahwa hasil yang sekarang muncul juga tidak dapat diterima.
• Saya penasaran latar belakang geografis tim yang membuat safeguard ini dan bahasa apa yang mereka gunakan. Hasilnya cenderung menghasilkan orang Asia Selatan (terutama perempuan Asia Selatan) dan orang kulit hitam; orang Latin hampir tidak pernah dihasilkan. Jika timnya berbasis di AS, ini bisa menjadi kekurangan besar. Namun stereotipe orang pribumi atau Asia Timur kadang-kadang tetap muncul.
• Ini ada untuk menyakiti Anda? Ini ada agar tidak menyakiti Anda. Tapi bagaimana bisa menyakiti Anda dan bagaimana melindungi diri, kita tidak tahu.