Wawancara Greg Brockman: AI Akan Segera Tumbuh Meledak! Apa yang Akan Terjadi Selanjutnya?

• Greg Brockman menilai bahwa untuk mencapai misi AGI, OpenAI harus melampaui batasan organisasi nirlaba dan mengamankan entitas for-profit serta komputasi skala besar
• Titik balik teknologi OpenAI berlanjut dari ekspansi PPO di Dota, pembelajaran makna oleh model bahasa, hingga peninjauan ulang standar AGI setelah GPT-4
• Pengembangan AI sudah dipercepat oleh AI itu sendiri; penulisan kode cepat tergantikan, tetapi perancangan struktur kode dinilai masih menjadi kekuatan para ahli manusia
• Ke depan, kendala utama adalah komputasi, dan OpenAI ingin mendistribusikan manfaat teknologi secara luas melalui data center dan akses gratis
• Deployment berulang, keamanan, netralitas, dan regulasi semuanya merupakan tantangan inti bagi produk dan masyarakat, dan tolok ukur keberhasilannya adalah AGI memberi manfaat bagi seluruh umat manusia

---

Pendirian OpenAI dan perubahan strukturnya

• Alasan berpindah ke AI setelah Stripe

  • Greg Brockman menilai masalah yang ia tangani di Stripe bukanlah masalah yang ingin ia pegang seumur hidup, dan jika ia bisa memengaruhi cara AI berkembang di dunia, itu akan menjadi hidup yang bermakna
  • Saat Patrick Collison melihat Brockman hendak meninggalkan Stripe, ia menyarankan agar berbicara dengan Sam Altman, dan dalam beberapa menit Sam menilai Brockman sudah memutuskan untuk pergi
  • Ketika Brockman mengatakan ia sedang memikirkan perusahaan AI, Sam juga mengatakan ia ingin memulai sesuatu di AI dan mengajak untuk tetap berhubungan, yang kemudian berujung pada pembahasan pendirian lab riset pada 2015

• Pendirian lab riset pada 2015 dan tim awal

  • Saat itu DeepMind terlihat seperti “gorila 10.000 pon” dengan peneliti, modal, data, dan rekam jejak, dan bahkan sebelum AlphaGo diumumkan, momentumnya sudah jelas
  • Pertanyaan intinya adalah, “apakah sudah terlambat atau masih mungkin untuk mengumpulkan banyak peneliti terbaik dan memulai sebuah lab riset”; ada banyak alasan mengapa itu sulit, tetapi tidak sampai pada kesimpulan bahwa itu mustahil
  • Sam Altman dan Brockman menyimpulkan bahwa “ini harus dilakukan”, dan mulai hari berikutnya Brockman langsung fokus penuh membangun organisasi
  • Rancangan awal mencakup Ilya Sutskever, Dario Amodei, Chris, Greg Brockman, tetapi tidak sepenuhnya terwujud; Chris pergi ke Google Brain, dan John Schulman serta lainnya menunjukkan minat
  • Sekitar 10 orang berada pada tahap bertanya “siapa yang akan ikut”, lalu Sam mengusulkan offsite, dan mengumpulkan orang-orang di Napa tanpa proposal resmi, struktur organisasi, atau anggota yang sudah pasti bergabung
  • Di offsite Napa, muncul arah yang mendekati rencana teknis untuk 10 tahun berikutnya, dengan inti berupa menyelesaikan reinforcement learning, menyelesaikan unsupervised learning, dan strategi mempelajari target yang makin kompleks secara bertahap

• Batas struktur nirlaba dan entitas for-profit

  • Pada 2017, OpenAI mulai menghitung syarat yang dibutuhkan untuk benar-benar membangun AGI dan skala komputasi yang diperlukan, lalu sampai pada kesimpulan bahwa mereka membutuhkan komputer yang sangat besar
  • Mereka menilai hardware komputasi unik yang dibuat Cerebras bisa melampaui jauh tingkat yang secara perhitungan dibutuhkan, dan menyimpulkan bahwa akses eksklusif atau pengamanan data center skala besar akan memberi keunggulan besar dalam membangun AGI
  • Mereka melihat penggalangan dana nirlaba punya batas, dan Elon Musk, Sam Altman, Ilya Sutskever, serta Greg Brockman sepakat bahwa satu-satunya jalur untuk mencapai misi OpenAI adalah membuat entitas for-profit yang terhubung dengan OpenAI
  • Untuk membangun AGI dibutuhkan modal, tetapi dengan struktur nirlaba saja, mereka menilai 100 juta dolar atau 500 juta dolar mungkin, sedangkan 1 miliar dolar akan sangat sulit

• Ketegangan internal dan pemecatan Sam Altman

  • Dalam organisasi yang percaya bahwa mereka bisa membuat mesin dengan kecerdasan setingkat manusia, politik internal perusahaan biasa seperti siapa yang memegang wewenang keputusan, nilai apa yang masuk ke dalam keputusan, dan bagaimana kontribusi dibagi, menjadi memiliki bobot eksistensial
  • Brockman melihat melalui panggilan video bahwa dewan direksi berkumpul tanpa Sam, lalu diberi tahu bahwa dewan telah memutuskan untuk menyingkirkan Sam Altman
  • Ia meminta informasi tambahan, tetapi dijawab bahwa tidak ada lagi yang bisa dibagikan, dan juga diberi tahu bahwa dirinya dicopot dari dewan tetapi tetap penting bagi perusahaan untuk menjalankan misinya
  • Tanpa menerima alasan atau umpan balik apa pun, Brockman berbicara dengan istrinya segera setelah panggilan itu dan menyimpulkan bahwa ia harus mengundurkan diri
  • Pada hari pengunduran dirinya, pesan berdatangan yang menyatakan bahwa apa pun yang Sam dan Brockman lakukan berikutnya, orang-orang akan ikut bersama mereka, dan para kolaborator dekat juga mengundurkan diri pada hari itu
  • Lima orang, termasuk Sam, mulai merancang perusahaan baru, dan Brockman menilai kemungkinan merebut kembali perusahaan hanya 10%
  • Pada Minggu malam, ketika dewan mengganti Mira yang saat itu menjadi CEO sementara dengan sosok baru, perusahaan bereaksi keras, dan rencana yang semula seperti “sekoci” kecil yang hanya menerima orang-orang yang diperkirakan akan bergabung berkembang menjadi situasi di mana mereka harus menerima hampir semua orang
  • Tepat sebelum Thanksgiving, banyak karyawan bahkan membatalkan penerbangan pulang dan berkumpul di kantor, dan dokumen petisi sempat macet karena terlalu banyak orang menandatangani Google Doc secara bersamaan
  • Brockman memeriksa Twitter dini hari, dan merasa sangat lega saat melihat Ilya menulis bahwa ia menandatangani petisi dan ingin perusahaan kembali bersatu

• Memulihkan hubungan dengan Ilya Sutskever dan pelajaran kepemimpinan

  • Ilya adalah orang yang cukup dekat hingga menjadi pemimpin upacara pernikahan sipil Brockman, dan keduanya telah melewati masa-masa sulit bersama
  • Setelah itu mereka menghabiskan banyak waktu untuk memahami dan mengungkapkan hal-hal yang telah menumpuk atau belum pernah diucapkan, dan Brockman merasa proses itu membawanya pada penutupan
  • Setelah insiden itu, para pesaing mencoba merekrut orang-orang mereka, dan mungkin ada tawaran uang lebih besar atau penawaran yang lebih baik, tetapi selama akhir pekan itu OpenAI tidak kehilangan satu orang pun dan tidak ada yang menerima tawaran dari pesaing
  • Saat Ilya pergi, itu adalah momen yang hampir menjadi satu-satunya dalam sejarah OpenAI ketika ia merasa tidak ingin melanjutkan lagi, dan ia harus menemukan kembali mengapa pekerjaan ini penting serta mengapa rasa sakit itu layak ditanggung
  • Selama masa jeda, ia melatih model bahasa pada sekuens DNA, dan bersama istrinya menaruh perhatian pada apa yang bisa AI lakukan untuk masalah kesehatan hewan, menerapkan teknologi ke bidang yang bermakna secara pribadi
  • Jika melihat ke belakang, hal-hal yang ia lakukan dengan buruk pada umumnya berupa terlalu lama menunda keputusan yang sebenarnya sudah ia tahu harus diambil, dan pelajaran yang terus berulang adalah ambil keputusan sulit dan lakukan percakapan yang sulit

Titik balik teknis dan percepatan pengembangan AI

• Rangkaian momen ketika terasa “ini nyata”

  • Perkembangan OpenAI bukanlah satu kali momen pencerahan, melainkan proses beruntun dari momen-momen ketika terasa “ini nyata”
  • Peluncuran awal adalah momen ketika mereka bisa mengumpulkan tim dan mengejar misi, tetapi keesokan harinya di kantor mereka bahkan belum tahu harus mengerjakan apa, bahkan papan tulis pun belum ada

• Skalabilitas yang ditunjukkan Dota dan PPO

  • Dota adalah pencapaian besar pertama, dan menunjukkan bahwa ketika compute ditingkatkan, hasilnya juga ikut membesar
  • Proyek Dota awalnya merupakan upaya mengembangkan metode baru karena mereka menilai reinforcement learning yang ada tidak akan bisa diskalakan, dan algoritme yang digunakan adalah PPO
  • PPO merencanakan semua langkah waktu dan tidak memiliki hierarki, berbeda dari cara manusia menyusun rencana harian, dianggap punya banyak kekurangan dan tidak akan skalabel, tetapi mereka memutuskan untuk mendorong baseline sampai batasnya
  • Hasil dari terus memperbesar PPO adalah kinerjanya melampaui pemain manusia terbaik, yang kemudian mengarah pada temuan bahwa algoritme sederhana dan compute skala besar benar-benar bekerja di dunia nyata
  • Lingkungan Dota adalah lingkungan kompleks yang sulit diprogram, sulit melihat jauh ke depan, dan sulit melakukan pencarian, sehingga hampir membutuhkan intuisi seperti manusia
  • Jaringan saraf yang digunakan jumlah sinapsnya lebih dekat ke “otak serangga kecil”, dan ini menyisakan pertanyaan tentang apa yang terjadi jika pendekatan komputasi yang sama diperbesar hingga lebih mendekati skala otak manusia

• Model bahasa, pembelajaran makna, dan perubahan standar setelah GPT-4

  • Makalah unsupervised sentiment neuron pada 2017 disebut sebagai momen pertama ketika mereka melihat semantik muncul dari tujuan language modeling
  • Model itu hanya dilatih untuk memprediksi karakter berikutnya, tetapi jaringan sarafnya menjadi mampu memahami positif-negatif sebuah kalimat, menunjukkan bahwa ia bisa mempelajari makna kalimat, bukan hanya koma serta posisi nomina dan verba
  • Saat menangani GPT-4, muncul pertanyaan “mengapa ini bukan AGI”, dan meski ia bisa bercakap dengan lancar tentang topik yang diinginkan, jelas masih ada sesuatu yang kurang
  • Standar AGI yang mereka miliki dua bulan sebelum GPT-4 dirilis mungkin tidak cocok dengan kemampuan nyata GPT-4, dan mereka melihat masih ada momen-momen terobosan yang memungkinkan tahap berikutnya di masa depan

• Keterkaitan prediksi, unsupervised learning, dan reinforcement learning

  • Memprediksi kata berikutnya tampak biasa saja, tetapi muncul sudut pandang bahwa jika benar-benar bisa memprediksi ucapan Einstein berikutnya, maka setidaknya ia sepintar Einstein
  • Inti dari prediksi bukanlah menebak sesuatu yang sudah diketahui, melainkan memprediksi apa yang akan datang berikutnya dalam situasi baru yang belum pernah dilihat sebelumnya
  • Pembelajaran model dibagi menjadi unsupervised learning yang dilatih untuk memprediksi apa yang akan datang berikutnya dari data statis dan observasional, serta reinforcement learning di mana AI sendiri memilih tindakan, menerima observasi dari dunia, lalu belajar dari datanya sendiri
  • Teknologi yang digunakan pada kedua tahap itu pada dasarnya sama, dan yang berubah adalah struktur data

• Tahap ketika AI mempercepat pengembangan AI itu sendiri

  • Mereka menilai kini telah memasuki tahap ketika penerapan AI pada proses pengembangannya sendiri membuat kecepatan pengembangan terus meningkat
  • Setelah ChatGPT, proses pengembangan internal menjadi 10~20% lebih cepat, dan alat coding terbaru sangat mengubah cara software engineering dilakukan
  • Dalam produksi model, sebagian besar bottleneck ada pada software, seperti implementasi sistem, perluasan skala, dan pengelolaan komputer besar
  • Mereka menilai AI akan segera mencapai tahap di mana ia dapat menghasilkan ide risetnya sendiri, menjalankan eksperimen, dan melakukan pengujian
  • Saat ini sulit mengetahui porsi penulisan kode yang tidak ditulis AI karena tingkatnya sudah “hampir hilang”, dan jika konteks serta struktur yang tepat diberikan, mereka menilai penulisan kode aktual dilakukan AI lebih baik daripada manusia
  • Namun, dalam perancangan struktur kode seperti penempatan modul, relasi antar komponen, dan definisi interface tertentu, mereka menilai pakar manusia masih jauh lebih unggul

• Ide baru dan kerahasiaan chain of thought

  • Mereka menilai tahap ketika AI menghasilkan ide-ide baru yang tidak terpikirkan manusia sudah semakin dekat
  • Dalam desain chip internal pada 2024, teknologi OpenAI diterapkan untuk mengurangi luas sirkuit, dan optimisasi yang dibuat model memang sudah ada dalam daftar manusia, tetapi memungkinkan implementasi lebih cepat untuk hal-hal yang tak sempat dikerjakan
  • Dalam matematika dan fisika, mereka disebut sedang memecahkan masalah matematika terbuka dan masalah fisika terbuka, dan baru-baru ini dikatakan telah menyelesaikan masalah tertentu dalam fisika kuantum ke arah yang berlawanan dengan perkiraan komunitas, bahkan menghasilkan rumus yang elegan
  • OpenAI berupaya menyulitkan distillation, dan secara khusus melindungi elemen-elemen yang merupakan bagian dari model tetapi tidak esensial untuk memberikan hasil kepada pengguna, seperti chain of thought
  • Keunggulan inti OpenAI bukan pada satu model tertentu, melainkan pada mesin pembuat model
  • Salah satu alasan mereka tidak menampilkan reasoning adalah untuk mencegah distillation, dan alasan lain yang lebih penting adalah interpretabilitas
  • Jika chain of thought dilatih agar tampak bagus, kesetiaannya akan hilang, dan model bisa menghasilkan reasoning dengan bentuk yang diinginkan pengguna alih-alih alasan yang sebenarnya
  • OpenAI sejak awal memutuskan untuk menghindari godaan melatih chain of thought ke bentuk yang enak ditampilkan kepada pengguna, dan karena alasan persaingan serta keamanan, mereka cenderung tidak mengungkap proses berpikir perantara

Keterbatasan komputasi, pusat data, fokus produk

• Dunia di mana komputasi menjadi keterbatasan utama

  • Ke depan, secara umum dunia bergerak menuju dunia yang dibatasi komputasi
  • Nilai yang dihasilkan model meluas melampaui sekadar menjawab pertanyaan, mencakup akses informasi kesehatan, integrasi berbagai sumber data, pencarian basis pengetahuan perusahaan, pemecahan masalah sulit, dan penulisan perangkat lunak yang lebih baik daripada manusia
  • Kemajuan dari GPT-5 ke 5.1, 5.2 Codex, hingga 5.4 sangat besar, dan kemampuan model untuk memahami maksud pengguna serta menyesuaikan diri dengan tujuan meningkat pesat
  • Saat model ditempatkan pada antarmuka seperti Codex, pengembang dapat mencapai jauh lebih banyak daripada sebelumnya
  • Bahkan jika mencoba memberi setiap orang di dunia masing-masing satu GPU, akan dibutuhkan 8 miliar GPU, tetapi lintasan saat ini sama sekali belum mendekati tingkat itu
  • Saat ini ratusan ribu GPU sudah merupakan skala besar, dan ke depan jutaan GPU mungkin akan hadir, tetapi dunia masih kekurangan komputasi, dan untuk membawa teknologi ini ke semua orang dibutuhkan jauh lebih banyak lagi

• Strategi pusat data dan infrastruktur fisik

  • OpenAI telah mengerahkan banyak upaya untuk membangun komputasi dengan mengantisipasi apa yang akan datang, dan ingin tetap fokus pada misi menyediakan model secara luas kepada semua orang
  • Strategi mencurahkan banyak upaya dan uang ke pusat data sempat diejek para pesaing, tetapi kini dipandang akan menjadi keunggulan bukan hanya bagi bisnis, melainkan juga untuk menjalankan misi menyampaikan teknologi kepada semua orang
  • Pusat data untuk AI hampir seperti “mesin terbesar yang dibangun umat manusia”, dan tujuannya adalah membantu menyelesaikan masalah penting bagi manusia seperti pengobatan kanker, menjalankan bisnis, dan pertanyaan sehari-hari, serta membantu mencapai tujuan
  • Soal pusat data khusus untuk masalah tertentu, misalnya pusat data raksasa di Dakota yang hanya menangani penyelesaian kanker, ia menilai hal itu bukan tidak mungkin terjadi tahun ini
  • Saat ini pusat data adalah mesin besar yang sangat rumit, dan di masa lalu pernah ada kasus kabel terlalu tegang sehingga menimbulkan masalah integritas sinyal dan komputer tidak dapat berfungsi
  • Saat ini perawatan sistem dilakukan manusia secara fisik, tetapi ke depan ada kemungkinan akan beralih ke robotika
  • Pusat data di luar angkasa memiliki banyak masalah teknis, tetapi karena permintaan komputasi begitu besar, semua opsi perlu dipertimbangkan

• Alokasi komputasi dan aksesibilitas

  • Dalam situasi komputasi yang terbatas, pertanyaan tentang ke mana komputasi dialokasikan di antara kebutuhan yang berbeda seperti “pembuatan gambar” dan “penyelesaian kanker” menjadi isu sosial yang penting
  • OpenAI berpandangan bahwa semua orang harus memiliki akses ke komputasi, dan alasan adanya tingkat gratis di ChatGPT juga untuk membuat teknologi digunakan secara luas agar orang dapat memahaminya sendiri dan membentuk cara pemanfaatannya
  • Pendekatan gaya “menara gading” yang menyelesaikan masalah lebih dulu lalu mendistribusikan hasil memang punya kelebihan, tetapi titik berat OpenAI ada pada distribusi manfaat teknologi secara luas

• Perpaduan enterprise dan konsumen

  • Dalam tahap berikutnya bagi OpenAI, enterprise sangat penting, dan ekonomi sedang berubah di depan mata menjadi ekonomi berbasis komputasi
  • Perubahan sudah terlihat dalam rekayasa perangkat lunak, dan di semua bidang yang bekerja dengan komputer, diperkirakan akan terjadi pergeseran dari cara “manusia bekerja dengan komputer” menjadi komputer bekerja untuk manusia
  • Batas antara enterprise dan konsumen bisa menjadi kabur, dan perubahan yang membuat mendirikan startup jauh lebih mudah sudah mulai terlihat
  • Seorang temannya memasukkan ke Codex ide aplikasi yang diinginkan adik perempuannya sambil mendengarkannya berbicara, lalu beberapa jam kemudian menunjukkan aplikasinya; ketika sang adik bertanya “siapa yang membuatnya?”, ia menjawab, “kamu yang membuatnya”
  • Codex diposisikan bukan sebagai alat hanya untuk software engineer, melainkan alat yang memungkinkan siapa pun dengan visi dan kemauan untuk mengeksekusi menjadi seorang builder

• AI pribadi dan satu sistem teknologi

  • Area konsumen yang secara khusus menjadi fokus OpenAI bukan hiburan atau ekspresi diri, melainkan penyelesaian tujuan
  • Jika pengguna smartphone berjumlah sekitar 4 miliar orang, maka semua orang seharusnya memiliki AI pribadi atau AGI pribadi yang mengenal mereka dengan baik, memahami konteks personal mereka, dapat dipercaya, dan bisa dimintai saran
  • AI pribadi dapat bertindak secara proaktif, seperti membeli tiket ketika musisi favorit datang ke kota; dalam beberapa kasus ia bisa mengecek dulu, dan dalam kasus lain bisa langsung mengeksekusi berdasarkan persetujuan sebelumnya
  • Tujuan tetap harus ditentukan oleh pengguna, dengan asumsi bahwa pengguna harus memegang kendali
  • Ia menilai orang yang perlu memiliki akses ke AI pribadi atau AGI pribadi bukan hanya 4 miliar, melainkan 8 miliar orang, yakni seluruh planet
  • Baik digunakan untuk pekerjaan maupun kehidupan pribadi, meskipun mungkin ada beberapa instance, pada dasarnya ini dipandang sebagai satu sistem teknologi

Distribusi, keselamatan, netralitas, regulasi

• Distribusi iteratif

  • Distribusi iteratif (iterative deployment) adalah salah satu pilar utama yang telah digunakan OpenAI untuk membuat teknologi bermanfaat bagi manusia dan mencapai misinya
  • Ada juga jalur membuat AGI secara diam-diam lalu tidak mendistribusikan apa pun sampai pada suatu saat menekan tombol untuk merilisnya, tetapi dalam kasus itu, kontak pertama antara sistem yang kuat dan dunia nyata harus ditangani sekaligus
  • Sebaliknya, jika sistem yang makin kuat dirilis berkali-kali, situasinya menjadi seperti menangani “sistem ke-100”, sehingga kita bisa belajar dari 99 kali pemecahan masalah sebelumnya dan dunia juga punya waktu untuk beradaptasi
  • Sebelum GPT-3 dirilis, banyak yang memikirkan gambaran besar seperti misinformasi, tetapi penyalahgunaan terbesar yang benar-benar terjadi adalah spam medis yang mengiklankan berbagai obat kepada orang-orang
  • Distribusi iteratif adalah cara merilis versi antara ke dunia untuk melihat dan mempelajari penyalahgunaan serta risiko nyata, bukan berarti sekadar merilis begitu saja tanpa pertimbangan
  • Untuk teknologi yang kuat dan dirilis secepat AI, belum ada playbook, dan OpenAI juga berada dalam situasi harus belajar sambil membangunnya

• Keselamatan adalah fitur produk

  • Keselamatan bukan sekadar elemen tambahan, melainkan fitur inti produk, dan tidak ada yang menginginkan model yang tidak selaras dengan dirinya
  • Pengguna menginginkan model yang bisa dipercaya dalam situasi apa pun dan melakukan hal yang benar
  • OpenAI menilai bahwa mereka mungkin telah berinvestasi jauh lebih banyak pada keselamatan daripada yang disadari orang, bahkan mungkin lebih banyak daripada laboratorium lain mana pun
  • Karena ChatGPT adalah contoh distribusi model bahasa yang digunakan oleh orang terbanyak di dunia, OpenAI harus memerhatikan keselamatan, dan menyatakan bahwa mereka memang selalu memerhatikannya
  • Mereka menilai tidak ada kondisi yang berkelanjutan di mana pengembang AI yang membangun produk sukses tidak berinvestasi sangat kuat pada keselamatan

• Ketahanan sosial dan OpenAI Foundation

  • Keselamatan tidak hanya terkait model itu sendiri, tetapi juga terhubung dengan cara masyarakat membangun ketahanan
  • Mobil memerlukan sabuk pengaman dan jalan, listrik memiliki standar keselamatan serta aturan seperti penempatan tiang listrik dan kabel tegangan tinggi
  • Untuk AI juga, yang penting bukan hanya model itu sendiri, tetapi bagaimana ia terintegrasi dengan dunia dan bagaimana masyarakat memiliki ketahanan
  • OpenAI Foundation menempatkan bantuan agar masyarakat berinvestasi dan membangun lapisan yang tangguh untuk AI sebagai salah satu fokus utamanya

• Bias politik model, netralitas, dan pelatihan berdasarkan preferensi pengguna

  • OpenAI mengatakan mereka berupaya keras agar model bersikap netral dan merepresentasikan kebenaran, dan nilai serta cara kerja yang dimasukkan ke dalam model dapat dilihat di spesifikasi publik di situs web serta menerima umpan balik
  • Screenshot Twitter kadang tidak selalu sepenuhnya jujur karena jawaban bisa diarahkan ke arah tertentu akibat memori di belakang layar, instruksi tersembunyi, atau konteks percakapan sebelumnya
  • Beberapa pertanyaan tidak memiliki jawaban benar, dan jika diminta menjawab dengan satu kata, tuduhan bias bisa muncul apa pun jawabannya
  • Hal inti yang dipandang penting oleh OpenAI adalah kebenaran dan AI yang merepresentasikan pengguna
  • Cara melatih model agar sesuai dengan preferensi pengguna telah berevolusi, dan pernah ada masa ketika model cenderung mengatakan hal-hal yang ingin didengar pengguna
  • Tujuannya adalah agar model membantu tujuan jangka panjang dan kesejahteraan jangka panjang pengguna, dan mereka telah melakukan perbaikan teknis agar tidak terjadi “hacking evaluator” demi kepuasan jangka pendek

• Regulasi, kekhawatiran data center, dan strategi nasional

  • Regulasi AI harus memastikan teknologi pada akhirnya memberi manfaat bagi manusia, dan harus menangani kenyataan bahwa sistem, pekerjaan, dan jalur hidup yang dulu dianggap stabil mungkin tidak lagi stabil
  • Pertanyaan inti regulasi menjadi apakah semua orang harus memiliki akses ke compute, dan bagaimana memastikan ketika teknologi menciptakan nilai ekonomi yang lebih besar, nilai itu tidak menumpuk hanya di satu tempat
  • Ada orang-orang yang mengatakan nyawa mereka atau orang yang mereka cintai terselamatkan berkat penggunaan ChatGPT, dan pemanfaatan seperti itu dinilai harus didukung dan dilindungi
  • Percakapan dengan dokter atau pengacara adalah percakapan istimewa yang dilindungi secara hukum, tetapi untuk AI sistem seperti itu masih belum ada
  • Ada kekhawatiran apakah data center akan menaikkan tarif listrik, dan OpenAI menyatakan memiliki komitmen untuk memastikan hal itu tidak terjadi
  • Banyak pembicaraan tentang penggunaan air oleh data center, tetapi OpenAI menyatakan data center mereka menggunakan air sangat sedikit dan klaim bahwa mereka memakai banyak air adalah misinformasi
  • Alasan penggunaan air yang rendah adalah karena strukturnya berbentuk loop tertutup, sehingga air sebanyak kolam renang diisi sekali lalu terus disirkulasikan
  • Situasi saat ini lebih dekat ke renaissance AI global daripada “perlombaan AI global”, dan mereka menilai dinamika antarnegara masih belum sepenuhnya ditentukan
  • Mereka menilai kepemimpinan Amerika Serikat di AI penting untuk memastikan nilai-nilai demokratis dilindungi dan dilestarikan
  • Masing-masing negara sedang menyadari bahwa jika AI menjadi fondasi keamanan ekonomi dan keamanan nasional, maka mereka harus terlibat dalam bentuk apa pun, dan bahwa strategi AI berdaulat diperlukan
  • Jika ekspor chip dan ekspor teknologi dibatasi terlalu keras, negara lain akan membangun pesaingnya sendiri atau bergantung pada penyedia lain; jika terlalu longgar, Amerika Serikat bisa kehilangan keunggulannya
  • Kepemimpinan bukan hanya soal berada di depan, tetapi juga mencakup membawa dunia maju bersama

Pekerjaan, keterampilan yang dibutuhkan, dan masa depan yang diinginkan

• Kecemasan soal pekerjaan dan apa yang akan didapat

  • Belum pasti bagaimana tepatnya AI akan berkembang, dan bisa muncul dengan cara yang mengejutkan; AI dan dunia saat ini juga berbeda dari gambaran yang dibayangkan fiksi ilmiah
  • Tidak bisa dipungkiri bahwa perubahan sedang datang; apa yang hilang mudah terlihat, tetapi apa yang didapat jauh lebih sulit dilihat sebelumnya
  • Jika kepada orang pada tahun 1950 dijelaskan bahwa setelah komputer, ponsel, dan GPS, kita akan bisa memanggil mobil ke lokasi kita saat ini dalam 3 menit, itu akan terdengar aneh, tetapi pada kenyataannya investasi teknologi semacam itu berujung pada ribuan, puluhan ribu, hingga jutaan pemanfaatan
  • Inti AI ada pada peningkatan kapabilitas dan agensi manusia, dan beberapa institusi serta pekerjaan mungkin tidak sestabil yang diperkirakan, sehingga akan memengaruhi banyak orang
  • Dari beberapa generasi teknologi AI, terlihat ada kecenderungan bahwa orang-orang yang lebih dulu mempelajari generasi teknologi sebelumnya memperoleh manfaat terbesar juga pada generasi berikutnya
  • Kapabilitas inti adalah agensi, visi, dan ide, dan hambatan untuk mulai mencoba kini lebih rendah daripada sebelumnya
  • Dunia perlu memikirkan bagaimana mendukung semua orang yang sedang melewati ketidakpastian dan transisi, dan ekonomi akan berubah menjadi ekonomi berbasis komputasi

• Hal yang perlu dikuasai generasi muda

  • Bagi siswa SMA, mahasiswa, dan mereka yang berada pada tahap awal karier, keterampilan penting adalah memanfaatkan AI secara mendalam dan memahami cara mengeluarkan potensi maksimal dari AI
  • Ke depan, dunia bisa bergerak ke arah di mana semua orang menjadi manajer agen, bahkan lebih jauh lagi menjadi CEO perusahaan AI otonom
  • Kita bisa membayangkan situasi di mana tenaga kerja perusahaan berukuran 100.000 orang semuanya bergerak untuk kita selama 24 jam, dan untuk itu dibutuhkan token serta komputasi
  • Akses semua orang terhadap komputasi adalah masalah inti yang harus benar-benar diselesaikan dunia
  • Keterampilan penting ke depan adalah cara memanfaatkan AI, cara mengombinasikan teknologi dengan cara baru, cara berinteraksi dengan dan mengelola agen, serta cara memahami apa yang kita inginkan dan tujuan kita

• Risiko dan masa depan yang diinginkan

  • Sampai sekarang, teknologi sering membuat manusia memelintir tubuh dan kehidupannya agar sesuai dengan mesin; duduk mengetik di depan kotak sambil mengalami carpal tunnel syndrome dan bahu membungkuk bukanlah sesuatu yang alami bagi manusia
  • Ke depan, kita akan bergerak ke dunia di mana bukan manusia yang bekerja dengan komputer, melainkan komputer yang bekerja untuk manusia, dan ini menciptakan peluang sekaligus risiko
  • Jika mesin membantu mewujudkan tujuan manusia, maka perlu ditetapkan batas tentang bagaimana menyesuaikan tujuan yang saling bertabrakan, apa yang boleh dibantu AI dan apa yang tidak
  • Kita harus mencari cara agar AI masuk ke masyarakat dengan manfaat yang tidak hanya jatuh ke satu perusahaan atau satu kelompok, melainkan mengangkat semua orang
  • Kita perlu menaikkan lantai dasar agar semua orang bisa memiliki kehidupan yang baik, mengakses teknologi ini, dan melakukan sesuatu dengannya; dengan begitu, langit-langitnya juga akan naik
  • Dalam akses layanan kesehatan, dibayangkan dunia di mana setiap orang memiliki dokter di saku mereka yang lebih baik daripada tim dokter mana pun saat ini
  • Perubahan seperti ini bersifat disruptif dan tidak datang secara gratis, dan kesalahan-kesalahan awal pun sudah mulai muncul
  • Dalam 2 tahun ke depan, AI bisa menjadi kekuatan untuk kebaikan, tetapi untuk mencapai potensi kenaikan itu kita juga harus mengakui cara-cara di mana hal ini bisa salah dan risiko-risikonya

• Standar pribadi dan definisi kesuksesan

  • Menulis makalah, mendapat sitasi, dan menarik perhatian di konferensi saja tidak cukup untuk mencapai misi; itu baru memadai jika terhubung dengan pertanyaan, “bagaimana aktivitas itu membuat AGI bergerak ke arah yang lebih baik bagi dunia”
  • Dalam ungkapan Ilya, ada pandangan bahwa “harus merasakan penderitaan”; kurang lebih artinya, jika tidak ada penderitaan, maka kita tidak sedang menciptakan nilai
  • Cara OpenAI, menurutnya, bukan menutup-nutupi masalah lalu maju secara membabi buta, melainkan lebih dekat pada menghadapi kebenaran yang sulit dan memahami realitas sebagaimana adanya
  • Makna AI yang ingin disampaikan kepada orang nonteknis adalah bahwa AI akan membantu kehidupan pribadi, mendorong kemajuan sains dan kedokteran, dan menjadi kekuatan untuk kebaikan yang mengangkat semua orang
  • Kesuksesan adalah misi OpenAI, yakni memastikan bahwa artificial general intelligence memberikan manfaat bagi seluruh umat manusia

[GN⁺]

Komentar Hacker News

• Saya ingat saat majalah komputer dulu ditujukan untuk para programmer dan bahkan memuat listing kode
  Lalu pada suatu titik isinya mulai hanya membahas gugatan IBM vs Microsoft, dan setelah itu seolah menemukan formula untuk cuma membicarakan politik internal perusahaan-perusahaan komputer. Liputan perusahaan lawan perusahaan seperti ini membosankan, rasanya seperti reality TV versi dunia teknologi. Semacam, malam ini yang tereliminasi Debra atau Deborah

  • Saya ingat saat Wired mengganti editor pemimpinnya. Setelah Chris Anderson pergi, majalah itu jadi seperti “GQ yang membahas iPhone”
  • Di industri “teknologi” ada dua dunia, dan teknologi menurut tipe hacker berbeda dari teknologi menurut dunia pada umumnya
    Versi yang dilihat dunia lebih dekat pada uang, kekuasaan, pengaruh, dan intrik dalam level gila yang dimungkinkan oleh teknologi itu, ketimbang teknologinya sendiri. Pada era IBM vs Microsoft skalanya memang sudah besar, tetapi skala di zaman OpenAI sekarang benar-benar di luar bayangan. Ada juga generasi yang terhubung ke dunia rekayasa/teknologi hanya karena tertarik pada sisi yang satunya itu. Saya rindu masa Byte magazine

• Kalau tidak ingin mendengarkan semuanya, bisa cek di sini: https://apecast.app/podcast/the-knowledge-project/episode/op...

• Ada juga catatan harian pribadi yang terungkap dalam proses gugatan Musk, yang menunjukkan bagaimana Brockman memandang masa lalu
  Misalnya ada kalimat seperti “Financially what will take me to $1B?”. Sebagai catatan, Musk kalah karena mengajukannya terlalu terlambat

  • Jika seluruh catatan harian pribadi dipublikasikan dan itu yang terburuk, justru itu masih lumayan baik

• Saya tidak paham kenapa tidak ada yang bertanya soal isi hati Ilya
  Saya tidak mengerti alurnya: memecat Sam, lalu menandatangani surat solidaritas yang menyatakan akan meninggalkan OpenAI jika Sam benar-benar keluar. Selain itu, semua informasi lain terasa cuma permukaannya saja

  • Sebagian dari tekanan balasannya adalah Microsoft mencoba merekrut orang-orang itu satu per satu, bahkan tanpa organisasinya, jika pemecatan itu tetap dipertahankan, dan berusaha mengganti kenaikan nilai saham yang akan hilang
    Mungkin akan jauh lebih sulit untuk benar-benar dilaksanakan, tetapi bisa jadi itu membuat hasil akhirnya tampak tak terhindarkan
  • Betul, itu yang seharusnya ditanyakan. Saya juga masih tidak paham kenapa dewan justru mengundurkan diri setelah menyingkirkan Sam

• Entah kenapa, episode kali ini terasa cukup membosankan
  Mungkin karena hampir tidak ada hal yang benar-benar tak terduga atau belum diketahui yang dibagikan

  • Saya sempat mengira isinya hanya hal-hal yang sudah saya tahu, tetapi ternyata ada cukup banyak hal baru jadi lebih menarik dari dugaan saya

• Sepertinya kejadian itu tidak akan membunuh OpenAI. Malah akan memperbaikinya

  • Pemenang yang menulis sejarah

• Yang menarik adalah mereka pada dasarnya menemukan jawabannya secara kebetulan. Pretraining adalah pembelajaran tak terawasi berskala besar, dan RLHF adalah pembelajaran penguatan. Mereka hanya belum tahu resepnya

  • Pretraining bukan pembelajaran tak terawasi, melainkan self-supervised learning. Jadi ada sedikit lebih banyak batasan dalam penskalaan

• Saya tidak paham kenapa organisasi nirlaba bisa melakukan hal seperti ini
  Bukankah ini jadi preseden bahwa status nirlaba sebenarnya tidak berarti apa-apa. Pakai struktur yang menguntungkan, lalu ubah saja ketika tiba saatnya mereka sendiri menjadi kaya

  • Mungkin akan membantu kalau dijelaskan dulu bagian mana yang dianggap bermasalah
    OpenAI didirikan sebagai nirlaba Delaware pada 2015, lalu pada 2017 menemukan hukum penskalaan dan menyadari bahwa mereka membutuhkan komputasi dan pendanaan yang jauh lebih besar dari perkiraan. Setelah itu ada negosiasi perubahan struktur untuk menggalang dana lebih banyak, dan Musk keluar ketika para pendiri lain tidak mau memberinya kendali. Pada 2018, meski kontribusi Elon berhenti, mereka mencoba sangat meningkatkan penggalangan dana tetapi hanya berhasil mendapatkan 50 juta dolar dari target 100 juta dolar. Pada 2019, untuk menarik modal komersial, mereka membuat anak perusahaan capped-profit, dan pihak nirlaba menyewa penilai independen untuk menaksir nilai kekayaan intelektual lalu memindahkannya ke entitas profit dengan nilai wajar sekitar 60 juta dolar. Sebagai gantinya, pihak nirlaba memperoleh hak untuk menerima 100x dari investasi awal kekayaan intelektual itu saat laba tercipta, yaitu sampai 6 miliar dolar, serta hak atas laba residu setelah investor-investor berikutnya mencapai batas cap mereka. Microsoft berinvestasi 1 miliar dolar pada 2019, 2 miliar dolar pada 2021, dan 10 miliar dolar pada 2023, dengan cap 20x atau 6x pada tiap investasi sehingga total target pembayaran kembali menjadi 92 miliar dolar. Pada 2025, struktur capped-profit direkapitalisasi menjadi public benefit corporation dengan ekuitas tradisional, dan pihak nirlaba menerima 26% saham entitas profit sebagai ganti penyerahan hak laba residu serta cap laba 100x dari pengalihan 60 juta dolar tadi; nilainya saat ini sekitar 200 miliar dolar. Ini berasal dari catatan Musk v. Altman, dan kesimpulannya pihak nirlaba pada 2019 menukar kekayaan intelektual senilai sekitar 60 juta dolar dengan hak atas laba masa depan sampai 6 miliar dolar, lalu setelah rekapitalisasi berakhir memiliki saham senilai 200 miliar dolar. Banyak orang di thread ini menganggap pihak nirlaba sudah tidak ada lagi, padahal itu tidak benar
  • Belakangan ini cukup sering terjadi hal-hal yang seharusnya tidak boleh dilakukan
  • Sejak awal, organisasi nirlaba memang bisa memiliki anak perusahaan profit yang mereka kuasai
  • Kebanyakan organisasi nirlaba tidak punya misi atau kesempatan menjual produk bernilai miliaran dolar yang bisa membuat konversi struktur seperti ini menguntungkan. Kalaupun mau, kemungkinan besar mereka memang tidak punya cara praktis untuk menghasilkan laba sebesar itu
  • Kebanyakan startup pada praktiknya juga tidak menghasilkan laba, dan karena organisasi nirlaba tidak bisa memberikan ekuitas, itu juga bukan struktur yang terlalu menguntungkan

• Sekadar catatan prosedural, perusahaan AI yang paling penting saat ini adalah Anthropic

  • Perusahaan AI yang paling dilebih-lebihkan saat ini adalah Anthropic. Modelnya bukan yang terbaik, tetapi pemasarannya memang sangat bagus
  • Anda meremehkan Google/DeepMind; cukup banyak riset awal yang krusial berasal dari sana, termasuk penemuan transformer yang menjadi fondasi perusahaan-perusahaan AI lain
  • Rasanya OpenAI sudah kehilangan kepemimpinannya. Sudah berbulan-bulan saya bahkan tidak memakai aplikasi mereka, apalagi modelnya