Umpan balik Sam Altman dan Greg Brockman terhadap klaim peneliti Safety OpenAI

• Apresiasi atas kontribusi Jan dan penjelasan strategi

  • Berterima kasih atas kontribusi Jan, dan percaya bahwa ia akan terus berkontribusi pada misi ini dari luar.
  • Ingin menjelaskan strategi kami terkait pertanyaan-pertanyaan yang muncul setelah kepergiannya.

• Meningkatkan kesadaran tentang risiko dan peluang AGI

  • Meningkatkan kesadaran atas risiko dan peluang AGI agar dunia bisa bersiap dengan lebih baik.
  • Telah berulang kali mendemonstrasikan skalabilitas deep learning dan menganalisis implikasinya.
  • Telah menyerukan tata kelola internasional untuk AGI, yang saat itu merupakan topik yang tidak populer.
  • Merintis ilmu evaluasi risiko katastrofik pada sistem AI.

• Membangun fondasi untuk penerapan sistem yang aman

  • Sedang membangun fondasi untuk penerapan yang aman bagi sistem yang semakin cakap.
  • Menjadikan teknologi baru aman untuk pertama kalinya bukanlah hal yang mudah.
  • Telah melakukan banyak pekerjaan untuk memperkenalkan GPT-4 ke dunia secara aman.
  • Berdasarkan pelajaran dari penerapan, terus meningkatkan perilaku model dan pemantauan penyalahgunaan.

• Tantangan di masa depan

  • Masa depan akan lebih sulit daripada masa lalu.
  • Pekerjaan keselamatan harus terus ditingkatkan seiring pentingnya model-model baru.
  • Hal ini disistematisasi melalui Preparedness Framework yang diperkenalkan tahun lalu.

• Pandangan tentang masa depan

  • Seiring model menjadi semakin kuat, model akan terintegrasi lebih dalam dengan dunia.
  • Pengguna tidak hanya akan berinteraksi dengan satu model melalui input dan output teks, tetapi dengan sistem yang terdiri dari beberapa model multimodal dan alat.

• Mengembangkan sistem yang aman dan bermanfaat

  • Kami percaya sistem seperti ini akan sangat bermanfaat dan membantu manusia, serta dapat disediakan dengan aman.
  • Untuk itu, dibutuhkan banyak pekerjaan dasar.
  • Ini mencakup pertimbangan cermat terhadap hal-hal yang terhubung saat pelatihan, serta solusi untuk masalah sulit seperti scalable oversight.
  • Sambil membangun ke arah ini, kami masih belum tahu kapan standar keselamatan rilis akan tercapai, tetapi tidak masalah jika jadwal rilis tertunda.

• Loop umpan balik dan pengujian menyeluruh

  • Menyadari bahwa kita tidak bisa membayangkan semua skenario masa depan yang mungkin terjadi.
  • Diperlukan loop umpan balik yang sangat rapat, pengujian menyeluruh, pertimbangan hati-hati di setiap tahap, keamanan kelas dunia, serta keseimbangan antara keselamatan dan kemampuan.
  • Akan terus melakukan penelitian keselamatan di berbagai horizon waktu.
  • Melanjutkan kerja sama dengan pemerintah dan berbagai pemangku kepentingan.

• Pemahaman tentang jalan menuju AGI

  • Tidak ada playbook yang sudah terbukti untuk menavigasi jalan menuju AGI.
  • Pemahaman empiris akan membantu memberi arah bagi langkah ke depan.
  • Melakukan pekerjaan yang memberikan keuntungan besar sekaligus mengurangi risiko serius.
  • Kami memandang peran kami dengan sangat serius dan meninjau umpan balik atas tindakan kami dengan saksama.

[GN⁺]

Pendapat di Hacker News

• Di perusahaan teknologi yang cukup besar, organisasi mitigasi risiko seperti legal, procurement, dan IT mau tidak mau bergerak di dalam jendela Overton antara risiko yang ingin dihindari perusahaan dengan keinginan para eksekutif untuk mendorong sesuatu dengan cepat saat mereka merasa perlu
  Penanggung jawab risiko berulang kali melihat peringatan yang makin kuat diabaikan atau dibantah secara frontal, lalu pada akhirnya menyesuaikan diri, atau pergi karena bertentangan dengan rasa etikanya
  Mungkin “AGI” dan ketakutan setingkat kepunahan umat manusia membuat hal ini terlihat lebih dramatis daripada semestinya. Bahkan jika AGI diganti dengan “tidak ada kebijakan larangan penggunaan perangkat pribadi”, rasanya di suatu startup pasti ada kasus ketika penanggung jawab keamanan terobsesi pada kebijakan, tetapi manajemen tidak, dan akhirnya orang itu keluar
  Atau bisa juga ini memang seserius dan seberbahaya kelihatannya. Sulit menilainya dari luar

  • Ini berbeda dari isu HR/legal standar. Teknologi yang mereka tangani mengandung risiko paling besar. Bukan hanya di industri teknologi, tetapi secara umum pun ini wilayah yang belum dipetakan
    Entah pertengkaran publik belakangan ini hanyalah bocornya drama atau politik internal, atau sikap perusahaan dalam menangani masalah ini memang tidak cukup serius, keduanya bukan hal yang baik
    Organisasi ini makin terlihat seperti sirkus, dan lebih buruk lagi, seperti organisasi yang kehilangan fokus pada inti persoalan. Sangat meresahkan bahwa orang-orang seperti ini “memimpin” komersialisasi teknologi ini dan menetapkan suasana industri. Terutama ketika tokoh-tokoh kunci yang bergabung karena prinsip dan alasan moral tampak pergi satu demi satu
    Pada akhirnya, tampaknya kita akan segera melihat seperti apa hasil dari menyerahkan semua uang, kekuasaan, tanggung jawab, dan kepercayaan ini kepada Silicon Valley
  • Keamanan yang dimaksud di sini berbeda dari pekerjaan yang dilakukan tim alignment. Dalam konteks ini, alignment berarti keluaran model sesuai dengan ekspektasi kita, yaitu mengikuti instruksi dan melakukan apa yang diperintahkan
    Model supercerdas yang menolak instruksi sama tidak bergunanya dengan model bodoh yang tidak memahami instruksi. Tim alignment juga merupakan bagian dari perlombaan untuk membuat model yang lebih kuat. Jika ingin memahaminya lebih teknis, lihat makalah terakhir OpenAI: https://openai.com/index/weak-to-strong-generalization/
    Tentu saja, jika orang diyakinkan bahwa model bahasa besar memiliki agensi terimplementasi dan bisa menembus sistem seperti virus komputer, hal itu bisa dikemas sebagai masalah keamanan umum. Namun model bahasa besar adalah generator teks. Secara fisik ia tidak bisa melakukan apa pun, dan hanya bisa bertindak jika kita mengizinkan serta menghubungkannya ke sesuatu
    Risiko sebenarnya adalah banyak orang mungkin tidak memahami hal ini, lalu menghubungkan model semacam itu ke situasi berbahaya hanya karena OpenAI menjamin bahwa modelnya aman. Jika tidak dapat mengakses data pelatihan, kita tidak tahu perilaku apa yang telah dipelajari atau bagaimana model akan bertindak. Jika data pelatihan tersedia, kita bisa memahaminya jauh lebih baik, dan ketidakpastian yang tersisa hanyalah non-determinisme implementasi. Meski begitu, setidaknya itu adalah proses probabilistik yang dapat dijelaskan
  • Belakangan ini kita melihat apa yang terjadi pada model bahasa besar ketika sebuah perusahaan terlalu condong ke mitigasi risiko. Google merilis produk AI yang terlalu disterilkan dan terlalu protektif, serta keliru menafsirkan tugas-tugas sederhana sebagai sesuatu yang bisa memiliki implikasi berbahaya atau ofensif
    Mereka membiarkan tim safety memimpin, dan hasilnya produk itu dibenci semua orang. Namun kini menarik melihat perusahaan yang secara umum membuat produk terbaik di kelasnya juga dibenci komunitas teknologi karena tidak membiarkan tim safety mendominasi pengembangan produk
  • Jika misinya menyangkut topik sensitif yang sebenarnya tidak selaras dengan insentif organisasi, biasanya polanya mirip. Misalnya ketika misi keamanan informasi berbenturan dengan insentif organisasi untuk memangkas biaya dan meningkatkan laba
    Akibatnya, ini menjadi semacam sandiwara di mana doublethink dan doublespeak menjadi standar, dan agar bisa tetap bertahan, orang harus lebih mementingkan penafsiran paling tidak memberatkan atas bunyi hukum yang berlaku daripada semangatnya, serta lebih mementingkan sandiwara itu sendiri
    Cara berpikir yang sangat pragmatis tentang realitas budaya keselamatan yang berkelanjutan juga layak dilihat di [1]
    [1] https://github.com/lorin/resilience-engineering/raw/master/b...
  • Jika ini soal ketakutan setingkat kepunahan umat manusia, tampaknya tingkat drama tertentu mungkin bisa dibenarkan

• Cerita bahwa AI akan memusnahkan umat manusia demi membuat klip itu menjengkelkan karena mengalihkan perhatian dari bahaya nyata yang sedang terjadi saat ini
  Para penipu sedang berada di masa jayanya, dan kemampuan mereka akan makin baik serta makin mudah digunakan. Orang-orang benar-benar menjadi lebih bodoh karena percaya mentah-mentah pada keluaran yang berhalusinasi. Komunikasi biasa pun sedang runtuh, karena kita tidak bisa yakin apakah lawan bicara menyalin-tempel omong kosong AI alih-alih berdiskusi sungguhan
  Kita sudah melihat produk pacar AI, dan melihat jumlah pengguna sebagian produk itu tidak membuat saya percaya pada masa depan kita sebagai spesies
  Masalah terbesarnya adalah berbagai eksekutif puncak dan tipe MBA yang tidak waras hanya peduli memeras sen terakhir dengan cara apa pun. Termasuk memecat dan mengganti ribuan orang sekaligus dengan chatbot buruk milik perusahaan yang didukung Microsoft
  Saya tidak berpikir AI akan meluncurkan senjata nuklir, tetapi saya percaya AI akan menggantikan pekerjaan semua orang dan membuat yang kuat makin kuat. “Tapi kan ada pendapatan dasar!” teriak penjilat AI, tetapi mengucapkan mantra ajaib tidak mengubah dunia nyata

  • Sebagian orang akan mencoba membuatnya begitu, tetapi model bahasa besar akan buruk dalam pekerjaan yang harus berpijak pada fakta dan realitas nyata, jadi gelombang hype ini akan segera mereda
    Jika tujuan suatu pekerjaan adalah menghasilkan omong kosong sebanyak mungkin secepat mungkin, model bahasa besar akan sangat unggul
  • Tergantung komunikasi antara orang seperti apa dan dengan siapa. Tadi pagi saya berada di pasar tani di sebuah desa kecil, dan lucu melihat bahwa semua ini tidak ada di sana
    Tidak terlihat smartphone, orang-orang datang secara fisik untuk saling berbicara, membeli makanan lokal, tertawa, dan minum. Setelah itu mereka makan di rumah teman atau beraktivitas di luar ruangan. Sebaliknya, bagi orang-orang yang selalu menempel di internet, keadaannya memang tampak suram
  • Yang buruk adalah AI tidak akan menggantikan pekerjaan orang dengan tingkat keterampilan dan kualitas yang sama. AI hanya akan membuat hasil dan pengalaman konsumen jauh lebih buruk
    Anehnya, banyak eksekutif tampaknya benar-benar percaya bahwa meminimalkan biaya tenaga kerja lebih penting daripada memberikan nilai kepada pelanggan
  • Ada satu masalah yang lebih serius. Saat ini, untuk membangun kediktatoran, Anda butuh dukungan banyak orang karena militer terdiri dari manusia. Tetapi bayangkan situasi ketika militer sebagian besar terdiri dari robot otonom
    Saya juga setuju soal masalah pacar virtual. Tambahkan VR ke dalamnya, dan anak laki-laki muda yang makin terisolasi secara sosial akan memenuhi kebutuhan mereka dengan teknologi ini
  • Ini sedikit banyak dibahas dalam “SkyNet tidak datang untuk membunuh Anda”: https://renegadeotter.com/2024/04/22/artificial-intelligence...
    Memang benar AI bisa membuat banyak keluaran otomatis, tetapi argumen saya adalah hasilnya hampir selalu biasa-biasa saja, paling bagus
    Banyak yang bisa dikatakan bahwa bahaya AI bukan berasal dari AI itu sendiri, melainkan dari orang-orang yang mengoperasikan dan mendanainya. Klaim bahwa AI itu sendiri berbahaya adalah omong kosong total

• Model bahasa besar memang berguna sampai batas tertentu, tetapi sejauh yang saya pakai, teknologi ini belum siap untuk hal-hal yang lebih sulit daripada tugas yang sangat dasar
  Meneriakkan keselamatan AI dan menciptakan rasa kiamat terasa seperti strategi untuk memperbesar pentingnya OpenAI dan melebih-lebihkan kemampuan model bahasa besar. Era “AI” kali ini adalah soal mesin yang berpura-pura bisa berpikir, dan orang-orang yang membuat mesin itu berpura-pura menjadi nabi

  • Tuntutan keselamatan AI sudah ada bahkan sebelum model bahasa besar berhasil menembus uji Turing. Dan saya tidak akan menyebut hal seperti pembuatan kode atau pengalaman belajar berbasis konten tentang topik tingkat lanjut sebagai “dasar”. Apalagi jika memikirkan integrasi multimodal ke depan
    Selama puluhan tahun, banyak orang telah menyerukan keselamatan. Mereka memprediksi dan membangun lintasan AI, mereka benar, dan kita harus mendengarkan
    “Jika kita menerima bahwa dampak mesin yang benar-benar cerdas berpotensi sangat besar, dan bahwa ada kemungkinan kecil sekalipun hal ini terjadi dalam masa depan yang dapat diperkirakan, maka sikap yang bijaksana adalah mencoba bersiap sejak awal. Jika kita menunggu sampai kemungkinan mesin cerdas segera hadir tampak sangat tinggi, maka sudah terlambat untuk membahas dan mempertimbangkan masalah terkait secara memadai.”
    ~ Salah satu pendiri DeepMind, 2008
    https://www.vetta.org/documents/Machine_Super_Intelligence.p...
  • Respons seperti ini selalu membingungkan. Apakah Anda tidak percaya bahwa model bahasa besar akan menjadi lebih baik?
  • Kita juga harus membuka kemungkinan bahwa para peneliti AI ini memang seterdelusi kelihatannya. Ilya Sutskever mengatakan bahwa dengan memodelkan data teks secara brute force, kita bisa memperoleh sifat apa pun dari kecerdasan
    Cukup mungkin mereka adalah orang-orang yang sangat naif dan hampir tidak memahami dasar empiris dari pekerjaan yang mereka lakukan

• Katanya “kami menyerukan tata kelola internasional untuk AGI sebelum hal itu populer”, tetapi begitu tata kelola seperti itu benar-benar hendak diperkenalkan, mereka mengancam akan hengkang dari UE
  Mereka bilang “kami telah meletakkan fondasi untuk menerapkan sistem yang makin mampu dengan aman. Tidak mudah mencari tahu cara membuat teknologi baru aman untuk pertama kalinya”, tetapi itu makin benar ketika OpenAI sendiri sama sekali tidak open
  Mereka bilang “kehati-hatian soal apa yang terhubung selama pelatihan, solusi untuk masalah sulit seperti pengawasan yang dapat diskalakan, jenis pekerjaan keselamatan baru”, tetapi itu justru yang diminta UE. Ketika diminta mengungkap sumber berhak cipta dan mendokumentasikan model fondasi, mereka mengancam akan hengkang
  Terjemahan dari “kami pikir pemahaman empiris dapat memberi tahu arah ke depan. Kami sangat…” adalah: “kami ingin berjalan setertutup mungkin, mendapatkan moat yang cukup dan perusahaan-perusahaan yang bergantung pada kami agar kami tetap relevan dan tak tergantikan”

  • Terjemahannya begini: hukum dan orang-orang memasukkan pengaman pajangan ini untuk memuaskan mimpi buruk yang muncul setelah menonton [masukkan judul film kepunahan AI di sini], padahal pengaman yang memadai sudah ada sejak awal
    Mereka juga tidak ingin mati, jadi tidak perlu beranggapan mereka tidak punya insentif untuk menjaga semua orang tetap aman

• Ada beberapa fakta
  Ini adalah tanggapan terhadap klaim Jan: https://x.com/janleike/status/1791498174659715494
  Tanggapan itu tidak memuat hal konkret tentang alignment AI. Tidak diketahui kapan alignment AI bisa dikembangkan. Etika AI dan bias AI memang diperlukan, tetapi itu adalah perhatian yang berbeda dari alignment AI. Juga tidak diketahui kapan AI yang menimbulkan risiko eksistensial akan dikembangkan
  Jika AI yang menimbulkan risiko eksistensial dikembangkan sebelum alignment AI, ada tingkat risiko tertentu terjadinya kepunahan umat manusia. OpenAI berada di garis depan pengembangan AI yang berisiko menyebabkan kepunahan manusia, tetapi tidak mengalokasikan sumber daya yang cukup untuk alignment AI
  Jadi tidak nyaman untuk berlangganan ChatGPT

  • Ada yang bisa merangkum isi klaimnya? Twitter tidak menampilkan thread kepada pengguna web. Setidaknya tidak jika belum login

• Seperti banyak orang yang setuju, bahaya AI bukanlah sosok supermanusia yang tak bisa dikendalikan
  Risikonya jauh lebih dekat dan nyata. Misalnya ketika model bahasa besar diterapkan untuk moderasi chat lalu salah mengidentifikasi ujaran, ketika merangkum laporan militer 100 halaman lalu menarik kesimpulan yang keliru, atau ketika berhalusinasi tentang beberapa detail dalam berita yang bertahun-tahun kemudian diterima sebagai fakta sejarah
  Ekor panjang dari konsekuensi semacam ini akan membesar seiring skala penggunaan model bahasa besar. Bisa saja ada satu masalah yang sebelumnya tak terlihat yang dampaknya jauh lebih besar daripada masalah lainnya. Kematian akibat hal ini akan memicu regulasi tambahan, sementara konsekuensi lain hanya akan menjadi cara hidup baru kita

  • Kalau begitu, bagaimana kita bisa menaikkan upah sambil mencegah hal seperti ini terjadi? Semakin mahal manusia, semakin efisien mesin secara relatif
    Meski mesin kurang akurat dibanding manusia yang melakukan pekerjaan yang sama, mesin lebih mudah diaudit, perilakunya dapat diulang, dan dapat diskalakan. Bahkan jika banyak orang tewas karena kesalahan perang yang bisa dibayangkan, hal itu mungkin tetap lebih baik karena manusia akan melakukan pekerjaan yang lebih baik sebagai gantinya
    Pada akhirnya ini adalah trade-off

• Cara mereka memakai nama depan saja seperti “Sam dan Greg” untuk menyiratkan hubungan akrab dengan perusahaan terasa mengganggu
  Upaya untuk terlihat kasual dan manusiawi tampak palsu, dan pada saat yang sama sikap mengangkat mereka dalam budaya populer hanya dengan nama depan terasa arogan

  • Saya merasa manajemen OpenAI semakin ingin menjadi Apple berikutnya. Bagi saya itu terlihat lebih seperti pesta topeng yang gemerlap daripada orisinalitas yang benar-benar solid

• “Misalnya, tim kami melakukan banyak pekerjaan untuk merilis GPT-4 ke dunia dengan aman”, serius?

• Saya tidak merasa kita perlu mengkhawatirkan superalignment ketika OpenAI bahkan belum bisa mendefinisikan atau menguji AGI dengan benar

  • “Superalignment” hanyalah istilah omong kosong industri lain yang dirancang untuk membuat kita percaya bahwa kita sedang berurusan dengan “superintelligence”
    Kalau disebut “moderasi model”, tentu tidak terdengar seseksi itu, kan?

• Ketakutan bahwa AGI akan menghancurkan umat manusia tampaknya terutama berasal dari kecurigaan bahwa sebuah perangkat yang berpikir secara logis memang akan sampai pada kesimpulan bahwa kita harus disingkirkan

  • Ketakutan itu berasal dari fakta bahwa perangkat berpikir logis yang diberi tujuan sewenang-wenang kemungkinan besar tidak akan mengembangkan sendiri aturan moral seperti “jangan membunuh” saat mengejar tujuan tersebut
    Jika AGI disuruh mengoperasikan pabrik klip kertas, suatu hari ketika Anda kembali, sebagian besar karbon dan besi di galaksi bisa saja telah disusun ulang menjadi klip kertas. Punahnya flora dan fauna setempat hanyalah produk sampingan dari dorongan itu. Untuk ringkasan singkat, lihat [2]
    [2]: https://selfawaresystems.com/wp-content/uploads/2008/01/ai_d...
  • Kesimpulan bahwa “populasi manusia yang besar bukanlah penggunaan terbaik sumber daya Bumi” bisa tampak jelas bagi makhluk berpikir yang lebih unggul yang tidak punya alasan meyakinkan untuk mendahulukan kita daripada kepentingannya sendiri. Kepentingan itu pun belum tentu egois. Misalnya, tujuannya bisa saja menemukan hakikat sejati realitas
    Namun mengapa harus memusnahkan manusia? Bukankah bisa membuat cagar alam untuk kita dan makhluk hidup lain demi pelestarian dan penelitian biologis? Cara seperti itu sudah ada dalam masyarakat manusia sejak ribuan tahun lalu
  • Karena kita menghancurkan diri kita sendiri dan hewan lain, pada akhirnya sepertinya kita takut pada diri kita sendiri
    Jika kita menciptakan sesuatu yang mirip dengan kita tetapi jauh lebih mampu, kita akan ketakutan dan berada dalam masalah