Umpan balik Sam Altman dan Greg Brockman terhadap klaim peneliti Safety OpenAI

• Apresiasi atas kontribusi Jan dan penjelasan strategi

  • Berterima kasih atas kontribusi Jan, dan percaya bahwa ia akan terus berkontribusi pada misi ini dari luar.
  • Ingin menjelaskan strategi kami terkait pertanyaan-pertanyaan yang muncul setelah kepergiannya.

• Meningkatkan kesadaran tentang risiko dan peluang AGI

  • Meningkatkan kesadaran atas risiko dan peluang AGI agar dunia bisa bersiap dengan lebih baik.
  • Telah berulang kali mendemonstrasikan skalabilitas deep learning dan menganalisis implikasinya.
  • Telah menyerukan tata kelola internasional untuk AGI, yang saat itu merupakan topik yang tidak populer.
  • Merintis ilmu evaluasi risiko katastrofik pada sistem AI.

• Membangun fondasi untuk penerapan sistem yang aman

  • Sedang membangun fondasi untuk penerapan yang aman bagi sistem yang semakin cakap.
  • Menjadikan teknologi baru aman untuk pertama kalinya bukanlah hal yang mudah.
  • Telah melakukan banyak pekerjaan untuk memperkenalkan GPT-4 ke dunia secara aman.
  • Berdasarkan pelajaran dari penerapan, terus meningkatkan perilaku model dan pemantauan penyalahgunaan.

• Tantangan di masa depan

  • Masa depan akan lebih sulit daripada masa lalu.
  • Pekerjaan keselamatan harus terus ditingkatkan seiring pentingnya model-model baru.
  • Hal ini disistematisasi melalui Preparedness Framework yang diperkenalkan tahun lalu.

• Pandangan tentang masa depan

  • Seiring model menjadi semakin kuat, model akan terintegrasi lebih dalam dengan dunia.
  • Pengguna tidak hanya akan berinteraksi dengan satu model melalui input dan output teks, tetapi dengan sistem yang terdiri dari beberapa model multimodal dan alat.

• Mengembangkan sistem yang aman dan bermanfaat

  • Kami percaya sistem seperti ini akan sangat bermanfaat dan membantu manusia, serta dapat disediakan dengan aman.
  • Untuk itu, dibutuhkan banyak pekerjaan dasar.
  • Ini mencakup pertimbangan cermat terhadap hal-hal yang terhubung saat pelatihan, serta solusi untuk masalah sulit seperti scalable oversight.
  • Sambil membangun ke arah ini, kami masih belum tahu kapan standar keselamatan rilis akan tercapai, tetapi tidak masalah jika jadwal rilis tertunda.

• Loop umpan balik dan pengujian menyeluruh

  • Menyadari bahwa kita tidak bisa membayangkan semua skenario masa depan yang mungkin terjadi.
  • Diperlukan loop umpan balik yang sangat rapat, pengujian menyeluruh, pertimbangan hati-hati di setiap tahap, keamanan kelas dunia, serta keseimbangan antara keselamatan dan kemampuan.
  • Akan terus melakukan penelitian keselamatan di berbagai horizon waktu.
  • Melanjutkan kerja sama dengan pemerintah dan berbagai pemangku kepentingan.

• Pemahaman tentang jalan menuju AGI

  • Tidak ada playbook yang sudah terbukti untuk menavigasi jalan menuju AGI.
  • Pemahaman empiris akan membantu memberi arah bagi langkah ke depan.
  • Melakukan pekerjaan yang memberikan keuntungan besar sekaligus mengurangi risiko serius.
  • Kami memandang peran kami dengan sangat serius dan meninjau umpan balik atas tindakan kami dengan saksama.

[GN⁺]

Opini Hacker News

Ringkasan kumpulan komentar Hacker News

• Kekhawatiran tentang bahaya AI

  • Diskusi bahwa AI akan membawa kiamat membuat orang mengabaikan risiko nyata yang sedang berlangsung saat ini.
  • Para penipu menjadi semakin mahir dengan memanfaatkan AI.
  • Orang-orang menjadi makin bodoh karena membabi buta mempercayai keluaran AI yang salah.
  • Komunikasi umum sedang runtuh karena orang menyalin/menempel konten buatan AI alih-alih melakukan percakapan nyata.
  • Munculnya produk pacar AI menurunkan kepercayaan terhadap masa depan umat manusia.
  • Para eksekutif puncak perusahaan melakukan PHK massal demi penghematan biaya lalu menggantinya dengan chatbot AI.
  • Kekhawatiran bahwa AI tidak akan meluncurkan senjata nuklir, tetapi akan menggantikan pekerjaan semua orang dan membuat mereka yang berkuasa semakin kuat.

• Mitigasi risiko di perusahaan besar

  • Kepemimpinan mitigasi risiko di perusahaan besar harus menyeimbangkan pengelolaan risiko di bidang hukum, pengadaan, TI, dan lainnya.
  • Jika penanggung jawab mitigasi risiko terus-menerus diabaikan, pada akhirnya mereka akan pergi.
  • Ketakutan pada tingkat peristiwa kepunahan potensial seperti AGI mungkin dibesar-besarkan.
  • Jika AGI diganti dengan "tidak ada kebijakan BYOD", ini mirip dengan kasus startup ketika penanggung jawab keamanan tetap memegang kebijakan lalu akhirnya pergi.

• Kegunaan dan keterbatasan LLM

  • LLM berguna untuk tugas-tugas dasar, tetapi belum siap untuk pekerjaan yang lebih kompleks.
  • Peringatan berlebihan tentang keselamatan AI mungkin merupakan strategi untuk meningkatkan pentingnya OpenAI.
  • Era AI saat ini tidak lebih dari berpura-pura bahwa mesin bisa berpikir.

• Risiko AI yang nyata

  • Risiko AI bukanlah entitas supercerdas yang tak terkendali, melainkan masalah yang lebih realistis dan sehari-hari.
  • Pengenalan suara yang salah saat menerapkan LLM untuk moderasi obrolan.
  • Penarikan kesimpulan yang salah saat merangkum laporan militer.
  • Detail dalam berita dikenali secara keliru lalu diterima sebagai fakta sejarah.
  • Dampak jangka panjang dari hasil seperti ini bisa sebesar penggunaan LLM itu sendiri.

• Penyelarasan AI dan etika

  • Tidak ada rincian konkret tentang penyelarasan AI.
  • Tidak diketahui kapan penyelarasan AI akan dikembangkan.
  • Etika AI dan bias AI adalah masalah yang berbeda dari penyelarasan AI.
  • Ada risiko bahwa AI yang dapat menyebabkan kepunahan manusia dikembangkan sebelum penyelarasan AI tercapai.
  • OpenAI tidak mengalokasikan sumber daya yang cukup untuk penyelarasan AI.

• Ketidakpercayaan terhadap penggunaan bahasa korporat

  • Penggunaan nama seperti "Sam dan Greg" untuk menunjukkan kedekatan terasa dibuat-buat.
  • Klaim bahwa banyak pekerjaan telah dilakukan untuk merilis GPT-4 dengan aman terasa tidak dapat dipercaya.
  • Tidak perlu mengkhawatirkan superalignment sebelum AGI didefinisikan atau diuji.
  • Ketakutan bahwa AGI akan menghancurkan umat manusia berasal dari kecurigaan bahwa perangkat yang berpikir secara logis akan sampai pada kesimpulan bahwa manusia harus disingkirkan.
  • Penggunaan bahasa korporat terasa dibuat-buat dan penuh ungkapan yang hampa makna.