Para peneliti OpenAI mengirim surat peringatan kepada dewan soal terobosan AI menjelang pemecatan CEO

• Tim peneliti OpenAI mengirim surat kepada dewan, empat hari sebelum insiden Sam Altman, untuk memperingatkan tentang penemuan kecerdasan buatan yang kuat
• Isi surat tersebut belum dikonfirmasi, tetapi para peneliti menyoroti kemampuan AI dan potensi risikonya

Kemajuan proyek Q*

• OpenAI secara internal meyakini telah mencapai terobosan menuju kecerdasan umum buatan (AGI) dalam proyek bernama Q*
• Q* memunculkan harapan besar di kalangan peneliti dengan menunjukkan kemampuan menyelesaikan soal matematika setingkat siswa sekolah dasar
• AGI, tidak seperti kalkulator yang hanya menyelesaikan perhitungan terbatas, memiliki kemampuan untuk melakukan generalisasi, belajar, dan memahami

SUPERINTELLIGENCE

• Matematika menjadi garis depan perkembangan AI generatif; saat ini AI unggul dalam menulis dan menerjemahkan bahasa dengan memprediksi kata berikutnya secara statistik
• Kemampuan memecahkan soal matematika menunjukkan bahwa AI dapat memiliki kemampuan penalaran yang mirip dengan kecerdasan manusia
• Kemampuan ini dapat diterapkan pada riset ilmiah baru

Opini GN⁺

• Hal terpenting dari artikel ini adalah bahwa para peneliti OpenAI memperingatkan dewan mengenai potensi risiko AI dan adanya kemajuan dalam proyek Q*.
• Penemuan ini, yang tampaknya membawa kita selangkah lebih dekat ke kecerdasan umum buatan (AGI), dapat memicu diskusi menarik tentang masa depan teknologi AI dan dampaknya bagi umat manusia.
• Selain kemungkinan positif yang dibawa oleh kemajuan AI, ini juga dapat menjadi momentum untuk meningkatkan kesadaran akan potensi risikonya, sehingga menjadi topik yang menarik bagi banyak orang.

[cosine20]

Tapi bukankah hal seperti ini cuma soal waktu? Sekalipun OpenAI, yang mengembangkannya lebih dulu, menunda atau membatalkan perilisan, rasanya cepat atau lambat pesaing lain atau komunitas open source akan mengeluarkan sesuatu yang mirip..

[GN⁺]

Opini Hacker News

• Terkait teori yang diunggah di 4chan beberapa hari lalu, ada isi yang menyebut bahwa jika suatu versi secara resmi dinyatakan sebagai AGI (kecerdasan umum buatan), maka lisensi untuk keuntungan komersial tidak bisa diberikan kepada Microsoft dan pihak lain. Karena itu, muncul klaim bahwa Altman tidak ingin hal itu disebut AGI, sementara anggota dewan lain menginginkannya.
• Ada penyebutan soal penemuan bahwa model baru bernama Q* mampu menyelesaikan masalah matematika pada tingkat tertentu dengan memanfaatkan sumber daya komputasi yang sangat besar. Model ini berhasil menyelesaikan soal matematika tingkat sekolah dasar, dan para peneliti sangat optimistis terhadap keberhasilan Q* di masa depan.
• Ada dua komentar yang baru-baru ini disebut Sam Altman terkait penemuan Q*. Salah satunya adalah komentar yang disampaikan di APEC pada 18 November, dan yang lainnya adalah tulisan yang diunggah di Twitter pada 22 September. Keduanya menyebut momen kemajuan dan penemuan OpenAI.
• Ada pendapat bahwa membatasi kekayaan dan kekuasaan individu adalah ide yang baik. Kita telah melihat perusahaan minyak menghancurkan bumi demi keuntungan, dan perusahaan teknologi melanggar privasi demi keuntungan, sehingga muncul pertanyaan tentang apa yang akan atau tidak akan dilakukan Sam Altman demi keuntungan.
• Sekitar sebulan lalu, Sam Altman meninggalkan komentar bahwa AI dapat menghasilkan konsekuensi yang sangat aneh sebelum mencapai persuasi supermanusia pada tingkat kecerdasan umum. Dewan mungkin menekan tombol darurat karena terkejut oleh terobosan terbaru, dan memiliki kemampuan "persuasi supermanusia" sebelum siklus pemilu dapat menimbulkan akibat besar jika jatuh ke tangan yang salah.
• Suatu hari nanti AI akan melakukan 50% pekerjaan, membuat keputusan-keputusan penting, kita akan menumpang kendaraan yang dikemudikan AI, dan orang-orang akan menjalin hubungan romantis dengan AI, tetapi bahkan sampai saat itu kita masih akan berdebat apakah yang dibuat itu benar-benar AGI. AGI akan selalu dianggap sebagai tahap berikutnya, dan suatu hari kita akan sadar bahwa kita sebenarnya sudah melampaui garis itu beberapa tahun sebelumnya.
• Ada isi yang membantu menjelaskan mengapa dewan OpenAI tidak bisa mempercayai Sam Altman dan menganggap meledakkan perusahaan lebih baik daripada menjelajahi teknologi tersebut.
• Isinya lebih cocok dengan surat terkait pemecatan Sam Altman oleh dewan, dan tidak melaporkan penemuan besar lalu baru diketahui lewat surat karyawan dapat dianggap sebagai "tidak jujur". Selain itu, jika diasumsikan ada skenario kiamat, muncul pertanyaan berapa lama rahasia seperti ini bisa dijaga agar tidak jatuh ke tangan pihak jahat.
• Ada pendapat bahwa OpenAI sedang mengambil pendekatan perintis dalam strategi pemasaran. Pesannya kurang lebih seperti, "Kami punya AGI yang kuat di dalam lemari ini, dan terlalu kuat untuk kami lepaskan," lalu mengklaim akan menjaga keselamatan dengan menerima uang dari orang-orang.
• Seorang orang tua berbicara dengan putranya yang berusia 12 tahun tentang bagian matematika yang membosankan, dan sang anak mengatakan bahwa nilai absolut sangat mudah dan membosankan. Ketika mendengar pendapat anaknya bahwa memakai bilangan kompleks bisa membuatnya lebih menarik, orang tua itu menyadari bahwa anak tersebut memahami bahwa dalam bidang kompleks, nilai absolut adalah sisi miring dari bagian real dan imajiner. Pemahaman seperti ini bukan sekadar hasil dari memiliki kamus sinonim yang sangat banyak, melainkan berasal dari pemahaman terhadap mekanisme dasar. Muncul pertanyaan melalui proses seperti apa model bahasa besar bisa sampai pada kesimpulan semacam ini.