Mengapa pemerintah, perusahaan, dan organisasi nirlaba harus berinvestasi pada AI bebas dan open source

• Perangkat lunak adalah aset komersial sekaligus sistem pengetahuan yang berkembang ketika dibagikan, dan seperti yang ditunjukkan GCC dan GNU/Linux, open source telah menjadi fondasi yang menopang internet modern dan industri teknologi
• Dengan membuka kode, pengembang di seluruh dunia dapat menemukan dan memperbaiki cacat, dan insinyur generasi berikutnya dapat mempelajari cara membangun sistem mutakhir, sehingga transparansi berkontribusi pada keamanan sekaligus pengembangan talenta
• Jika AI mutakhir terkonsentrasi pada model tertutup milik segelintir perusahaan, peneliti akan sulit memeriksa proses pembangunan dan data pelatihan, dan penilaian sains, medis, teknik, dan peradilan yang bergantung pada AI juga akan sulit diaudit sepenuhnya
• Karena perangkat lunak AI itu sendiri adalah kemampuan, memang ada risiko dari keterbukaan, tetapi model tertutup juga rentan terhadap kebocoran dan jailbreak, serta menimbulkan pemusatan kekuasaan ketika segelintir perusahaan menentukan teknologi apa yang boleh digunakan
• Tidak semua AI open source harus mengejar skala model mutakhir, dan pemerintah, perusahaan, serta organisasi nirlaba perlu berinvestasi pada dukungan komputasi publik, pendanaan riset universitas dan nirlaba, serta prinsip dasar keterbukaan untuk AI yang dibuat dengan dana publik

---

Perdebatan seputar perangkat lunak bebas

• Saat berdebat dengan Richard Stallman selama sekitar dua tahun di MIT AI Lab pada 1980-an, pandangan yang diikuti saat itu adalah bahwa perkembangan perangkat lunak memerlukan kontrol kode yang eksklusif dari perusahaan
• Stallman memandang perangkat lunak sebagai medium yang memuat pengetahuan, sehingga siapa pun harus bisa menggunakannya, mempelajarinya, dan memperbaikinya, dan menyembunyikan kode di dalam perusahaan berarti menyembunyikan pengetahuan itu sendiri
• Kedua pihak sepakat bahwa komputer akan menjadi sarana utama untuk mempercepat kemajuan manusia, tetapi berbeda dalam cara mencapai tujuan itu
• Melalui perdebatan tersebut, gagasan bahwa perangkat lunak bukan sekadar aset komersial, melainkan sistem pengetahuan yang menjadi lebih kuat saat dibagikan, menjadi semakin meyakinkan
• Prinsip Stallman bahwa pengguna harus dijamin kebebasannya untuk meneliti, mengubah, memperbaiki, dan membagikan perangkat lunak menjadi dasar gerakan perangkat lunak bebas dan kemudian open source

Pengembangan terbuka yang dibuktikan oleh GCC dan GNU/Linux

• GCC yang dibuat Stallman mengubah kode dunia menjadi bahasa mesin yang dapat dijalankan komputer, dan menjadi program inti yang masih digunakan hingga sekarang
  • Keberhasilan ini dimungkinkan bukan hanya oleh kerja satu orang, tetapi oleh kontribusi ribuan orang
• GNU/Linux yang lahir dari semangat pengembangan terbuka yang sama kini menjalankan sebagian besar internet
• Lingkungan teknologi modern sangat bergantung pada prinsip pengembangan terbuka dan open source

Dampak keterbukaan pada keamanan dan pembelajaran

• Pada awalnya, keberatan utama adalah logika keamanan melalui penyembunyian, yakni bahwa perangkat lunak harus disembunyikan agar komputer tetap aman
• Perangkat lunak yang transparan memungkinkan komunitas pengembang global menemukan dan memperbaiki masalah, sedangkan pada perangkat lunak tertutup, yang bisa diharapkan hanyalah tidak ada yang memeriksa bagian dalamnya cukup dalam
• Komunitas open source menyebarkan luas pengetahuan tentang cara membangun sesuatu, dan juga berperan sebagai buku pelajaran de facto bagi generasi insinyur yang belajar
• Jika semua sistem mutakhir disembunyikan, hampir tidak ada yang bisa dipelajari dari sistem yang terkunci sehingga akan sulit melatih inovator generasi berikutnya

Ekosistem open source yang menopang industri teknologi

• Perkembangan teknologi selama puluhan tahun lahir dari ekosistem yang rumit di mana perusahaan swasta, universitas, dan puluhan ribu relawan berkontribusi pada fondasi perangkat lunak bersama
• Banyak perusahaan yang sukses secara global menghasilkan keuntungan dengan membangun layanan di atas teknologi inti yang terbuka
• Perangkat lunak proprietary memang punya peran, tetapi open source adalah fondasi yang telah menanggung beban industri teknologi modern, sehingga tidak boleh dibiarkan melemah

AI yang ditutup sejak tahap awal

• AI juga merupakan perangkat lunak, tetapi model mutakhir yang paling maju sepenuhnya tertutup, dan laju penutupannya pun makin cepat
• Alternatif terbuka yang benar-benar dapat digunakan masih jarang, dan model saat ini memang hebat tetapi masih belum matang serta cara pembangunannya pun belum mapan
• Jika bidang ilmiah awal yang masih menyisakan terobosan terdalam ditutup sekarang, pengetahuan bersama yang dibutuhkan untuk kemajuan bisa hilang
• Ilmu pengetahuan di universitas berkembang dengan cara memublikasikan hasil riset dan memungkinkan seluruh dunia melakukan penelitian lanjutan
• Jika sebagian besar sains masa depan bergantung pada AI, maka mengurung AI di dalam segelintir perusahaan berisiko membatasi kemajuan ilmu pengetahuan itu sendiri

Siapa yang mengendalikan perpustakaan masa depan

• Perpustakaan adalah sumber daya bersama yang memungkinkan siapa pun mengakses pengetahuan yang dikumpulkan umat manusia secara gratis
• Akan sulit diterima bila segelintir perusahaan membeli semua perpustakaan, menentukan buku apa yang boleh dibaca, dan diam-diam mengubah isinya
  • AI tertutup juga seperti perpustakaan masa depan yang hanya bisa diakses sesuai syarat yang ditetapkan pemiliknya
• Jika segelintir perusahaan menetapkan batas yang boleh dilakukan model atau menyesuaikan cara jawaban dihasilkan, orang yang bergantung pada model itu tidak akan bisa sepenuhnya memahami hasilnya
  • dokter yang menggunakan model untuk diagnosis
  • insinyur yang menyerahkan desain kepadanya
  • hakim yang menjadikannya rujukan dalam penilaian
  • maupun pengguna umum yang bertanya apa yang harus dipercaya, semuanya menghadapi masalah yang sama

Penjelasan model bukan jejak audit

• Meskipun model dapat menyebutkan alasannya, penjelasan dan audit bukanlah hal yang sama
• Alasan yang diberikan model bukan catatan setia dari komputasi nyata yang menghasilkan jawaban, melainkan kisah yang terdengar masuk akal dan dirangkai setelah hasil keluar
• Jika pertanyaan yang sama diajukan lagi tahun depan dan jawabannya berubah, mungkin tidak ada cara untuk mengetahui apakah realitas yang berubah atau penyedianya yang mengubah model
• Pengguna yang bergantung pada sistem seperti ini akhirnya mempercayai sistem mirip orakel yang tidak dapat mereka selidiki bagian dalamnya, alih-alih memakai alat yang bisa dipahami

Risiko yang diciptakan AI terbuka dan AI tertutup

• Keberatan bahwa AI terlalu berbahaya untuk dibuka patut dipertimbangkan dengan serius
• Makalah penelitian mendeskripsikan kemampuan, tetapi perangkat lunak AI dasarnya sendiri adalah kemampuan itu, sehingga memang ada asimetri nyata antara keterbukaan riset biasa dan keterbukaan AI
• Namun, itu tidak berarti penutupan adalah jawaban yang tak terelakkan
  • Penemuan ilmiah juga bisa disalahgunakan, tetapi alih-alih merahasiakan seluruh fisika, kita menerapkan pengawasan dan aturan sambil tetap membuka pengetahuan dasarnya
  • Model tertutup pun bisa bocor atau dijailbreak, sehingga tidak aman hanya karena tertutup
• Pemusatan kekuasaan ketika segelintir perusahaan menentukan apa yang bisa dibangun masyarakat lainnya juga menciptakan risiko tersendiri
• Ukurannya bukan apakah model terbuka sama sekali tanpa risiko, melainkan apakah ia menciptakan risiko tambahan yang bermakna dibanding kemampuan yang sudah tersedia

Perbedaan antara kode eksekusi dan kode pembangunan

• Di balik model ada dua jenis kode: kode untuk menjalankan model dan kode untuk membuat model
• Mampu menjalankan model secara langsung memang berguna, tetapi untuk transparansi, yang lebih penting adalah kode pembangunan dan data pelatihan yang menunjukkan bagaimana model dibuat
• Model yang saat ini disebut terbuka dari lembaga riset besar di Tiongkok dan beberapa perusahaan AS menyediakan kode eksekusi, tetapi tidak membuka kode pembangunan maupun data pelatihan
• Yang diterima pengguna adalah kumpulan angka raksasa yang menghasilkan kecerdasan tetapi proses pembentukannya tidak diketahui, lebih mirip angka ajaib yang bisa dijalankan namun tidak bisa dijelaskan
• Bahkan keterbukaan kode eksekusi pun bukan janji yang berkelanjutan, melainkan kebaikan hati berdasarkan kebijakan perusahaan, dan tidak ada jaminan bahwa model paling kuat di masa depan juga akan terus dibuka
• Keterbukaan yang bisa dihentikan kapan saja tidak dapat menjadi fondasi, sehingga keduanya dibutuhkan
  • model terbuka yang bisa digunakan dan diperluas siapa saja
  • source code dan data pelatihan terbuka yang memungkinkan siapa saja memeriksa proses pembuatannya

Investasi pada AI open source sebagai barang publik

• Ini bukan berarti menentang keberadaan perusahaan AI atau AI swasta itu sendiri, melainkan bahwa AI swasta tertutup tidak boleh menjadi satu-satunya pilihan
• AI swasta di AS mendapat dukungan yang cukup, tetapi AI open source memiliki basis advokasi yang lemah sehingga mudah tersisih dari kebijakan dan investasi
• Model mutakhir bisa terus membesar dan makin mahal, sehingga persaingan pada skala itu mungkin tetap menjadi wilayah perusahaan raksasa
• Agar AI open source berguna, ia tidak harus selalu berskala sama dengan model mutakhir, dan banyak tugas yang dibutuhkan dunia mungkin tidak memerlukan performa mutakhir absolut
• Jika mempertahankan alternatif terbuka yang andal memerlukan sumber daya komputasi besar, itu adalah barang publik yang layak dibiayai
• Pemerintah, sektor swasta, dan organisasi nirlaba harus aktif berinvestasi pada AI bebas dan open source
  • menyediakan subsidi komputasi publik untuk riset terbuka
  • mendukung pendanaan perusahaan dan filantropi bagi universitas serta organisasi nirlaba yang melakukan riset terkait
  • mengadopsi prinsip bahwa AI yang dibangun dengan dana publik pada dasarnya harus dibuka
• Cara kita mendorong kemajuan teknologi dengan berinvestasi pada perangkat lunak open source harus dilanjutkan juga di bidang AI

[GN⁺]

Komentar Hacker News

• Perusahaan AI swasta melatih model dengan data yang pada dasarnya dirampas dari semua orang dan bahkan menimbulkan risiko besar, jadi mereka harus diwajibkan merilis model dengan bobot terbuka berlisensi nonkomersial
  Bukan regulatory capture yang didorong Dario, arah seperti inilah yang seharusnya menjadi inti kebijakan keselamatan

  • Saya tidak tahu preseden apa yang ada untuk klaim bahwa data itu dicuri. Orang-orang yang selama 20 tahun terakhir memblokir iklan, mengumpulkan 5TB film dan musik bajakan, sambil berkata “saya tidak akan pernah membayar untuk file digital,” kini menuduh pencurian ketika model bahasa besar memprediksi token berikutnya dari dataset
    Jika Anda benar-benar marah karena model dilatih pada semua data yang tersedia tanpa kompensasi, yang bisa saya katakan hanyalah itu akibat perbuatan sendiri
  • Saya setuju, terutama karena sekarang para pesaing makin sulit memperoleh keunggulan yang sama. Meski tidak perlu langsung membukanya atau merilis sampai fine-tuning detail, setidaknya bobot model dasar harus dibuka
  • Dalam beberapa jenis risiko, seperti bahaya memberikan langkah demi langkah cara membuat senjata biologis menular, bobot terbuka justru bisa meningkatkan bahaya
  • Gagasan yang menarik, tetapi bukankah itu berarti Tiongkok juga bisa segera membuat model yang setara dengan kita? Nilai ekonomi untuk berinvestasi dalam pelatihan model juga bisa turun drastis
  • Mengapa harus melarang penggunaan komersial? Perusahaan-perusahaan itu bahkan bukan pihak yang melakukan pekerjaan fundamental yang sulit, dan memalukan bahwa kita membiarkan sumber daya bersama diprivatisasi seperti ini

• Perlu ada sponsor bersama untuk hadiah insentif bertarget bagi model terbuka, seperti pendekatan peraih Nobel Michael Kremer
  Setiap 6–12 bulan, berikan 200 ribu dolar kepada model pertama yang melampaui ambang pada 5–10 benchmark sulit dan satu benchmark tertutup, dengan kelas 16GB, 32GB, 64GB, 128GB VRAM dan panjang konteks minimal 200K; lalu naikkan ambangnya pada putaran berikutnya. Metode kuantisasi bebas, tetapi pada perangkat acuan model harus menggunakan tepat VRAM sebesar itu, tidak boleh melimpah ke RAM atau disk
  Dana bisa dikumpulkan lewat crowdfunding, dan hadiah khusus untuk kebutuhan perusahaan seperti pemrosesan PDF dapat ditambahkan untuk subsidi silang. Misalnya, 25% hadiah perusahaan dialihkan ke kumpulan hadiah umum. Bagi perusahaan model terbuka, uang memang berguna, tetapi pengakuan resmi yang jelas yang membuat model menonjol dan meningkatkan penggunaan mungkin jauh lebih bernilai

  • Saya ingat pemerintah Korea pernah mengadakan kompetisi serupa. Tahun lalu beberapa model dirilis bersamaan untuk maju ke tahap berikutnya, tetapi modelnya sendiri tidak terlalu mengesankan
    Kelas perangkat keras yang jelas adalah pembeda yang bagus, tetapi benchmark harus benar-benar tertutup. Membuat dan mengelola set evaluasi yang baik untuk setiap tahap saja sulit bahkan untuk evaluasi internal lab yang jujur; demi kepercayaan, set itu harus dibuka setelah tiap putaran berakhir dan evaluasi berikutnya dibuat dari awal. Itu mungkin dilakukan, tetapi biaya pengelolaan evaluasi bisa lebih besar daripada total hadiah dan harus terus diulang
  • Meski saya tidak bisa melatih model mutakhir, untuk kelas 16GB saya mungkin bisa ikut, jadi ini menarik. Model mutakhir jauh melampaui kelas seperti ini, sehingga sepertinya masih banyak teknik optimisasi yang belum dipertimbangkan
  • Sebaiknya tambahkan persyaratan reprodusibilitas, dan jangan mempertahankan benchmark yang persis sama terlalu lama
  • Dengan 200 ribu dolar, bahkan biaya listrik untuk pelatihan mungkin tidak tertutup

• FOSS adalah analogi yang keliru. Membangun model bahasa besar mutakhir lebih mirip program penelitian sains daripada bidang rekayasa
  Program penelitian yang pada praktiknya bergaya open source juga ada, termasuk universitas dan proyek besar seperti CERN. AI juga tumbuh di universitas, tetapi terbukti bahwa modal yang dibutuhkan hanya bisa dihimpun dari sektor swasta
  Program penelitian AI publik yang serius juga mungkin, tetapi itu bukan sekadar sedikit menaikkan dana riset universitas; lebih dekat ke Proyek Manhattan atau Program Apollo yang sudah dijadikan teladan oleh lab-lab mutakhir

  • Total biaya Proyek Manhattan setelah disesuaikan inflasi sekitar 40 miliar dolar, tetapi satu putaran penggalangan dana terbaru Anthropic saja mengumpulkan 65 miliar dolar
    Total biaya Program Apollo pada puncak Perang Dingin bernilai sekitar 300 miliar dolar saat ini, kira-kira sebanding dengan jumlah yang sejauh ini dihimpun OpenAI dan Anthropic jika digabung. Saya ragu apakah pemerintah bisa mendanai AI sebesar itu dalam lingkungan politik dan ekonomi saat ini. Sebagai perbandingan, LHC menghabiskan kurang dari 10 miliar dolar dalam periode yang jauh lebih panjang
  • Dilihat dari sisi lain, riset AI telah berkembang di universitas, dan baru belakangan sektor swasta menyadari potensi profitnya ketika digabungkan dengan teknologi CPU/GPU modern
    Ini mungkin terdengar sama, tetapi sudut pandangnya berbeda. Jika ini program riset akademik, mereka tidak akan menghabiskan miliaran dolar untuk data center demi menyediakan AI gratis bagi publik umum

• Kita sudah berinvestasi pada AI open source, tetapi tidak ada yang benar-benar gratis. AI komersial, tempat pengembang bekerja penuh waktu dan dibayar, biasanya pasti lebih unggul; sulit bagi niat baik dan kontribusi paruh waktu untuk secara stabil mengalahkan kebutuhan hidup dan motif laba

  • Hal yang sama dulu dikatakan tentang sistem operasi, database, compiler, dan bidang perangkat lunak besar serta kompleks lainnya, tetapi seiring waktu perangkat lunak open source makin menempati posisi dominan
  • Kecerdasan umum buatan (AGI) bukan perangkat lunak
    Jika empat orang—Altman, Amodei, Zuckerberg, dan Musk—yang hampir secara eksklusif mengendalikan model tertutup mutakhir tidak sedang menipu investor, melainkan benar-benar membuat AGI, maka pilihan yang tersisa dari model tertutup hanyalah pemerintah yang kuat atau oligopoli/monarki yang kuat
    Musk dan Zuckerberg secara struktural memegang komando. Setelah menyingkirkan pesaing dan privatisasi, Altman pada dasarnya telah memperoleh komando dan loyalitas organisasi; Amodei memiliki pengaruh besar sehingga berpotensi membalik tata kelola saat ini

• Fakta bahwa perangkat lunak bersifat closed source bukan berarti pengetahuan tidak bisa dibagikan. Pola arsitektur atau praktik terbaik bisa dijelaskan tanpa melihat kode dasarnya
  Analogi perpustakaan baru tepat jika penyedia model bahasa besar harus menolak menjawab pertanyaan terkait reinforcement learning atau Transformer
  Saya sangat mendukung model open source dan berbobot terbuka, tetapi alasan utamanya karena saya melihatnya sebagai produk yang lebih baik. Biaya pelatihan dan operasional jauh lebih murah, dan sebagian besar pekerjaan mungkin tidak membutuhkan kecerdasan paling mutakhir. Jika diserahkan ke pasar, model bahasa besar akan menjadi mirip bahasa pemrograman, dan lab besar kemungkinan menghasilkan uang dari fine-tuning untuk penggunaan tertentu atau deployment bagi pelanggan

  • Tidak boleh diserahkan hanya kepada pasar. Pelanggan tidak selalu memilih opsi yang secara teknis paling unggul atau paling murah

• Jika mengikuti logika yang mendorong AI, beberapa prompt model bahasa besar yang dipilih dengan cermat dapat mereplikasi pekerjaan pengembang open source; lalu mengapa kita harus mendanai mereka? Bukankah seharusnya perusahaan AI mendanai FOSS agar bisa menghafal lebih banyak solusi?

• Hapus saja “AI” dari judulnya. Pemerintah, perusahaan, dan organisasi nirlaba harus berinvestasi pada free dan open source

• Analogi perpustakaan itu sendiri cocok, tetapi bagian yang mengganggu adalah fakta bahwa sebagian besar model terbuka lebih mirip menerima biner terkompilasi daripada menerima perpustakaan

• Jika publik ingin mempertahankan sedikit saja kendali, koperasi milik anggota mungkin merupakan jalan ke depan

• David Siegel sekitar dua tahun lalu, dalam ceramah https://youtu.be/0z60xUDo-NI?si=PTDe11-sn2P53qo5&t=420, mengatakan bahwa ekspansi data center AI terlalu dini
  Analogi yang ia berikan: bahkan jika pendekatan saat ini terus diskalakan, itu seperti pada masa awal komputasi ketika seseorang menemukan algoritma O(n²) bernama bubble sort untuk mengurutkan angka, lalu perusahaan teknologi langsung ingin membangun data center raksasa untuk mengurutkan angka tanpa mencari cara O(n log n). Itu sepenuhnya benar, dan juga benar untuk AI open source

  • Tanyakan kepada Amodei bagaimana perasaannya sekarang tentang pergi sampai ke apa yang disebut penjahat astronot demi mendapatkan sumber daya komputasi yang tidak tersedia di pasar mana pun