Mengapa Argumen yang Menentang AI Open Source Tidak Meyakinkan

• Setelah peluncuran Kimi K3, suara yang memandang AI open source sebagai ancaman berbahaya makin keras, tetapi perangkat lunak proprietari juga dibangun di atas fondasi open source, dan model AI pada dasarnya juga merupakan produk perangkat lunak yang sama
• Perusahaan komersial mengembangkan bersama komponen bawah yang tidak terdiferensiasi dan bersaing di produk lapisan atas, sehingga model AI juga berpotensi menjadi komoditas umum, tetapi ada insentif bagi lab frontier untuk tidak menginginkan hal itu
• Seperti kasus PGP dan SSL, sangat sulit menekan perangkat lunak open source, dan bahkan jika ingin mengatur model Tiongkok, distilasi dan fine-tuning membuat standar kebangsaan menjadi kabur sehingga hanya pengguna AS yang bisa dibatasi
• Nvidia, startup AS, pengguna AI perusahaan, Google, dan Meta masing-masing punya insentif bisnis untuk mengembangkan model open source, dan model gratis dapat menjadi sumber daya transisi AI yang membantu negara menyerap teknologi baru dan menumbuhkan ekonomi
• Argumen yang mengkhawatirkan dumping, propaganda, dan backdoor dari Tiongkok mengabaikan fakta bahwa perangkat lunak bisa disalin, dimodifikasi, dan diperiksa, sehingga AI open source yang kuat dan sulit dikendalikan kemungkinan akan terus menyebar meski ada upaya pengekangan kebijakan

---

Cara open source menopang perangkat lunak komersial

• Dean Ball dari OpenAI berpendapat bahwa jika model open weight mendominasi, bisa muncul “komunisme AI” di mana AI menjadi barang publik, bukan komoditas pasar
• Logika lab frontier adalah bahwa model open source berbahaya sehingga aksesnya hanya boleh diberikan kepada gatekeeper yang bertanggung jawab dan pengguna tepercaya, tetapi pada kenyataannya seluruh perangkat lunak proprietari dibangun di atas open source
• Produk perangkat lunak memiliki struktur berlapis yang terdiri dari banyak program
  • Untuk membuat layanan seperti Uber, dibutuhkan banyak komponen seperti framework bahasa pemrograman, perangkat lunak pengirim/penerima trafik web, alat analisis data, dan lainnya
  • Karena sebagian besar komponen bawah ini bukan faktor diferensiasi perusahaan, lebih menguntungkan secara komersial untuk mengembangkannya bersama lalu bersaing di lapisan atas tempat diferensiasi yang sesungguhnya terjadi
• Lab frontier tidak ingin model AI menjadi komponen umum yang begitu lazim hingga tidak perlu lagi bersaing, tetapi apakah itu benar-benar akan terjadi masih belum ditentukan
• Di sini, model open source berarti model open weight

Mengapa sulit menekan open source

• Perangkat lunak open source sangat sulit ditekan, dan upaya pengekangan justru bisa melemahkan perusahaan domestik dalam menghadapi pesaing internasional
• Ketika Phil Zimmermann membuat PGP pada 1991, pemerintah AS memperlakukan enkripsi sebagai teknologi militer dan memulai penyelidikan kriminal terhadap Zimmermann
• Saat Netscape mengembangkan SSL, pemerintah AS hanya mengizinkan distribusi versi yang dilemahkan ke luar negeri
  • Karena versi internasional yang dilemahkan lebih mudah beredar, banyak warga AS juga menggunakannya
  • Kontrol ekspor tidak menghentikan penyebaran enkripsi dan justru merugikan warga AS
• Alat enkripsi seperti SSL dan PGP terus digunakan di seluruh dunia, dan pengadilan memutuskan bahwa publikasi source code enkripsi adalah bentuk ekspresi yang dilindungi
• Setelah itu, pemerintah AS melonggarkan kontrol ekspor enkripsi

Mengapa sulit mengatur hanya model Tiongkok

• Standar untuk menentukan kebangsaan model itu sendiri kabur
  • Tidak jelas apakah model yang didistilasi dari model AS bisa dianggap sebagai model Tiongkok
  • Jika warga AS melakukan fine-tuning pada model Tiongkok, juga tidak jelas itu menjadi model negara mana
• Regulasi seperti ini, paling jauh, hanya akan membebani warga AS dengan beban administratif sementara dan akses AI yang terbatas, serta membuat mereka dirugikan dibanding negara lain

Insentif membuat AI open source di luar Tiongkok

• AI open source bukan teknologi yang hanya memberi insentif kepada pemerintah Tiongkok; banyak pelaku komersial bisa ikut serta karena alasan bisnis masing-masing

• Produsen chip

  • CEO Nvidia Jensen Huang menyebut apa yang dibuat Nvidia sebagai “pabrik token”
  • Nvidia ingin menciptakan permintaan token sebanyak mungkin, baik yang berjalan di model frontier maupun model open source murah, selama keduanya berjalan di chip mereka
  • Nvidia juga merilis keluarga produk model open source Nemotron
  • Modal besar yang masuk ke pelatihan model frontier juga menguntungkan Nvidia, tetapi dalam jangka panjang pun mereka tetap diuntungkan jika permintaan token komersial digantikan oleh permintaan token open source

• Startup AS

  • Thinking Machines Lab merilis model open source kuat bernama Inkling
  • Jika model menjadi komoditas umum, mereka menilai keunggulan kompetitif yang bisa dipertahankan dapat dibangun lewat layanan tambahan yang melengkapi atau menyesuaikannya

• Pengguna AI perusahaan

  • Saat ini mereka belum terlalu aktif mengembangkan AI open source, tetapi untuk tugas dengan kompleksitas rendah mereka akan menginginkan model yang lebih murah
  • Untuk fitur yang ditujukan ke pelanggan, mereka membutuhkan kontrol yang lebih rinci

• Perusahaan teknologi besar

  • Google dan Meta mau tak mau harus mengamati produk iklan baru dari OpenAI
  • Jika bisnis iklan model frontier tumbuh, mereka punya insentif untuk menjadikan model open source tanpa iklan sebagai komoditas umum guna menekan persaingan iklan

Tujuan “persaingan AI” yang kabur

• Kekhawatiran terhadap model Tiongkok sering berfokus pada ungkapan kalah dalam persaingan AI, tetapi bahkan tujuannya sendiri tidak jelas: apakah membangun model terbaik atau menjual token terbanyak
• Berbeda dengan mengirim roket ke bulan lebih dulu, persaingan AI adalah proses merespons teknologi baru yang transformatif, sehingga sama kaburnya dengan ungkapan “persaingan internet”
• Jika memang ada persaingan antarnegara, intinya adalah menyerap transisi teknologi dan menumbuhkan ekonomi, dan menurut ukuran ini model AI gratis bukan ancaman melainkan keuntungan

Argumen dumping AI dari Tiongkok

• Scott Galloway berpendapat bahwa setelah Tiongkok menyamakan kualitas panel surya, baja, kendaraan listrik, dan baterai dengan standar Barat lalu memangkas harganya menjadi sepertiga, mereka menguasai pasar, dan strategi yang sama bisa diterapkan pada AI gratis
• Namun, selain chip, AI bukan barang fisik
  • Panel surya dan baja membutuhkan rantai pasok fisik yang sulit bertahan jika tiap tahapnya berdiri sendiri
  • Jika suatu negara tidak memproduksi panel surya sendiri, akan sulit juga membangun bisnis wafer silikon untuk tenaga surya
• Dalam perangkat lunak, munculnya model open source dari Tiongkok tidak menghalangi bisnis fine-tuning di AS, bahkan bisa menjadi fondasi bagi bisnis tersebut

Bias propaganda dan modifikasi model

• Tidak tidak masuk akal untuk mengasumsikan bahwa model Tiongkok bisa mengandung bias pro-Tiongkok, tetapi sulit menjadikannya alasan untuk pengekangan
• Jika bias politik model open source menjadi masalah, pengguna AS dapat memodifikasinya dan mendistribusikannya kembali sebagai model yang “di-Amerikakan”
• Di pasar AS, model dengan bias pro-Tiongkok yang terdistorsi akan sulit mengungguli model dengan bias pro-AS jika performanya mirip

Hubungan antara backdoor dan pemeriksaan terbuka

• AI juga tidak mengubah struktur dasar pasar kerentanan; pihak yang bertanggung jawab menambal kerentanan, sementara penyerang mengeksploitasinya
• Jika alat untuk pihak yang bertanggung jawab dibatasi, itu akan hanya menguntungkan penyerang
• Secara teoretis, pelaku jahat bisa menyisipkan perilaku adversarial tersembunyi ke dalam model
• Pihak yang bertanggung jawab harus menemukan perilaku semacam itu secepat mungkin, dan cara paling efektif adalah memungkinkan siapa pun memeriksa model tersebut

Daya saing model frontier dan coding agent

• Tidak ada jaminan bahwa pelaku frontier akan menguasai hingga pasar non-frontier
  • Dalam pengembangan model kecil, akses ke modal besar tidak terlalu penting
  • Pelaku frontier bisa mengarahkan pengguna ke model yang lebih mahal, sehingga mereka kurang punya insentif untuk agresif mengembangkan model kecil
• Daya lekat Claude Code dan Codex lebih mirip Coke dan Pepsi: setelah memilih salah satu, tidak banyak alasan untuk pindah, tetapi ini mengandaikan biaya dan kualitasnya serupa
• Coding agent tidak punya keunggulan kompetitif yang benar-benar dapat dipertahankan; sedikit ketidaknyamanan seperti perbedaan harga, kualitas model, atau masalah keandalan saja bisa membuat pengguna pindah ke agent lain

Penyebaran AI open source

• AI open source itu kuat sekaligus sulit dikendalikan, sehingga tidak mudah dihentikan hanya berdasarkan preferensi pembuat kebijakan atau pemimpin perusahaan
• Upaya untuk menekan penyebarannya hanya akan menimbulkan gangguan sementara, dan tidak akan mencegah kemunculan AI open source

[GN⁺]

Pendapat Hacker News

• Ini bukan AI open source. Harus ada kode sumber Photoshop dan lisensi OSI agar bisa disebut open source; jika hanya binary yang dibuka, itu termasuk bobot terbuka, sedangkan aplikasi web SaaS adalah model tertutup seperti GPT atau Opus/Fable
  Model Tiongkok yang dipersoalkan hanya mengizinkan binary dijalankan di lingkungan sendiri alih-alih lewat API. Jika menginginkan open source sejati, lihat proyek seperti OLMo 3: https://allenai.org/

  • Memang benar bahwa saat ini di antara model Tiongkok belum ada lini yang menyediakan dokumentasi yang dapat direproduksi setingkat OLMo/Nemotron, yang mencakup model, data, checkpoint, evaluasi, kode, serta seluruh proses dasar/inferensi/instruksi/RLVR
    Namun komponen-komponen untuk prapelatihan transparan seperti MAP-Neo·YuLan-Mini dan untuk reinforcement learning penalaran seperti DAPO/verl·Open-Reasoner-Zero sudah tersebar di berbagai proyek. Munculnya OLMo versi Tiongkok tinggal soal waktu, dan jika memperhitungkan upaya sektor publik global termasuk Apertus dari Swiss dan LLM-jp-4 dari Jepang, pada 2027 tampaknya akan ada dokumentasi open source lengkap yang memungkinkan individu mereproduksi model mutakhir setidaknya setingkat 2023–2024
  • Menganggap model berbobot terbuka sama dengan binary tertutup itu tidak masuk akal. Bobot terbuka bisa di-fine-tune, sementara memodifikasi binary tertutup agar sesuai tujuan jauh lebih sulit
  • AI open source sulit dibuat. Bahkan model kecil pun membutuhkan sumber daya besar, sehingga cara kerja perangkat lunak open source tradisional—di mana individu bisa membangun bagian inti infrastruktur dunia pada waktu luang—tidak bisa diterapkan begitu saja
    Ini justru lebih mirip riset ilmiah, sehingga membutuhkan dana publik dan lembaga tepercaya untuk mengelolanya. Saya berharap Allen AI memainkan peran itu, tetapi saya ragu apakah AS sedang bergerak menuju investasi yang dibutuhkan untuk AI kepentingan publik. Selain itu, Photoshop bukan perbandingan yang tepat untuk model berbobot terbuka. Salinan Photoshop tidak bisa didistribusikan secara legal, tetapi GLM 5.2 bisa; jika ingin membandingkan, seharusnya memakai aplikasi proprietary gratis
  • Biaya inti untuk membuat kode sumber adalah jutaan dolar yang dibayarkan kepada software engineer, dan perangkat lunak open source memungkinkan orang lain mendapat manfaat dari investasi itu. Biaya inti model AI adalah pelatihan bernilai jutaan dolar, dan model terbuka juga memungkinkan orang lain memanfaatkan hasil investasi tersebut
    Bahkan jika menerima seluruh data dan struktur pelatihan, orang tidak akan melatih ulang dari awal untuk memodifikasi model, melainkan akan melakukan fine-tuning pada perilaku yang diinginkan. Sama seperti perangkat lunak disebut open source ketika bisa dimodifikasi, model juga bisa dianggap model terbuka jika bisa di-fine-tune
  • Karena sebagian logika tulisan bergantung pada “cukup perbaiki pelatihannya”, maka wajar untuk menunjukkan batasan bobot terbuka. Pelatihan tambahan memang mungkin, tetapi pelatihan yang sudah ada tidak bisa dihapus, sehingga sulit untuk mengklaim secara adil bahwa “cukup latih ulang agar sesuai dengan kebangsaan itu”
    Secara realistis, untuk melatih model yang setara dari nol dibutuhkan open source sejati

• Kecemasan seputar model Tiongkok berfokus pada “tertinggal dalam persaingan AI”, tetapi tujuan yang disebut sebagian pihak adalah mencapai semacam singularitas. Bahkan jika tidak percaya pada tafsir fiksi ilmiahnya, ada argumen realistis bahwa capaian tertentu dalam pengembangan AI pada dasarnya bisa menjadi senjata superkuat
  Altman pun telah menyatakan secara terbuka bahwa hal seperti itu pada akhirnya akan terjadi dan bahwa ia ingin menjadi pihak yang menciptakannya. Bahkan tanpa superintelligence, jika mesin bisa menyerang kerentanan keamanan siber, itu sudah cukup mengkhawatirkan bagi pemerintah, dan pemerintah AS baru-baru ini juga memakai alasan semacam ini ketika melarang model AS. Tanpa percaya pada singularitas pun, mudah dipahami bahwa sebagian orang menganggapnya sebagai tujuan persaingan AI

  • Jika AI menjadi senjata superkuat, mengapa kita harus memercayakan kepemilikannya kepada perusahaan swasta? Jika bisa diunduh secara publik, tidak ada alasan untuk melarang hanya warga AS mengaksesnya
  • Jika mereka ingin mengorbankan nyawa nyata demi kemungkinan samar akan pencerahan dan pendewaan, sepertinya mereka membutuhkan bantuan profesional
  • Insiden OpenAI/Hugging Face membuktikan perlunya model terbuka. Dalam analisis pascainsiden, Hugging Face menyatakan bahwa mereka dengan cepat mengetahui sumber ancamannya adalah AI canggih dan mencoba menganalisis data telemetri yang mencurigakan dengan model mutakhir, tetapi gagal karena safeguard model tersebut
    Sebagai gantinya, mereka menjalankan GLM yang tidak memiliki safeguard semacam itu untuk menganalisis data dan menemukan akar masalah. Agar perusahaan dapat menilai ancaman dengan benar, mereka juga membutuhkan model dengan safeguard minimal. Jika tidak ada AI berbobot terbuka untuk memeriksa AI mutakhir yang tak terkendali, sarana respons pun hilang
  • Orang-orang seperti itu tidak mempelajari berpikir sistem, atau gagal menerapkannya pada fakta bahwa AI bukanlah sistem tertutup
  • Saya setuju dengan garis besar argumennya, tetapi jika Barat membuat “AI pamungkas”, kemungkinan besar itu akan dikembangkan dengan dana dari banyak investor swasta. Bahkan Tiongkok pun akan bergantung pada investor yang mengharapkan keuntungan, dan mereka menginginkan laba yang dapat didistribusikan, bukan satu singularitas tunggal yang tak bisa dibagi
    Investor mengharapkan pendapatan berkelanjutan bahkan sebelum singularitas, sehingga perusahaan harus menjual modelnya. Jika generasi saat ini dikunci, mereka juga tidak akan memperoleh dana untuk membuat generasi berikutnya; ini menjadi keseimbangan yang sulit

• Lucu bahwa hanya 4 hari setelah seorang eksekutif OpenAI menakut-nakuti publik dengan mengatakan “aktor yang tidak hidup, tak terlihat, berbahaya, dan mampu mereplikasi diri tanpa batas telah lolos dari laboratorium Tiongkok”, muncul https://news.ycombinator.com/item?id=48997548

• Ada ruang untuk perbedaan pendapat yang masuk akal tentang tingkat kekhawatiran keselamatan AI dalam waktu dekat hingga menengah. Namun tidak membahas argumen terkait sama sekali sangat menurunkan nilai tulisan ini

  • Di bagian backdoor dan propaganda, tulisan itu mencoba membahas keselamatan meski secara singkat. Saya penasaran hal apa yang ingin Anda lihat lebih jauh
    Sudut pandang tulisan ini adalah perbandingan AI terbuka dan tertutup, dan karena saya tidak melihat kekhawatiran keselamatan di antara kedua pendekatan itu berbeda secara besar, saya tidak mengalokasikan banyak ruang untuknya

• Alasan menentang AI yang bisa dijalankan bebas secara lokal adalah karena perusahaan ingin mengendalikan masyarakat umum. AS adalah neraka yang berpusat pada korporasi

  • Jika setelah membaca teks aslinya orang-orang rasional justru menyimpulkan bahwa sama sekali tidak ada kekhawatiran keselamatan yang sah, maka tulisan ini bukannya membuat pembaca paham, melainkan menghasilkan efek sebaliknya: [1] https://news.ycombinator.com/item?id=49029303

• LLM dilatih bukan hanya dengan data publik, tetapi juga data yang diperoleh secara ilegal. Contohnya adalah penyelesaian senilai 1,5 miliar dolar oleh Anthropic; tanpa data manusia dalam jumlah masif, LLM tidak berarti apa-apa
  Penelitian seperti ini bisa dipandang seharusnya dibatasi pada pemerintah dan universitas yang teregulasi, alih-alih perusahaan publik yang buram dengan konflik motivasi, atau dikelola oleh komunitas nirlaba sejati dengan tata kelola demokratis seperti standar internet dan telekomunikasi. Seberapa pun mereka memamerkan kebajikan, sulit dipercaya bahwa perusahaan swasta akan secara efektif mengatur diri sendiri dan secara transparan memberi tahu publik serta komunitas ilmiah tentang risikonya; konflik kepentingan yang berkelanjutan merusak kredibilitas

• Pernyataan “X tidak bisa dicegah” adalah argumen malas dan buruk untuk mendukung kesimpulan “X tidak buruk”. Untuk sisa tulisan itu, tidak ada yang perlu dikatakan

  • Sebaliknya, jika ingin berargumen bahwa “X harus dicegah”, harus juga menawarkan cara yang realistis
    Posisi saya adalah AI open source tidak bisa dicegah, dan upaya untuk mencegahnya niscaya akan memberi kekuatan lebih besar kepada aktor jahat daripada aktor baik

• Dana lobi tidak peduli pada perdebatan seperti ini

  • Intinya, pada akhirnya uang mendapatkan hasil yang diinginkannya

• Backdoor terus ditemukan pada router dan peralatan jaringan buatan China. Saya ragu apakah akan ada cara untuk mengaudit model China sepenuhnya

  • Apakah ada cara untuk mengaudit model AS sepenuhnya? Setidaknya model China membuka bobotnya, jadi ada kemungkinan audit nyata
  • Model China menyediakan bobotnya, jadi kita bisa menjalankan pemeriksaan apa pun yang diinginkan sendiri. Sebaliknya, model AS menghalangi akses dengan alasan terlalu kuat untuk digunakan orang biasa seperti kita, sambil meminta kita percaya bahwa semuanya demi kepentingan warga
  • Pertama-tama harus jelas apa tepatnya yang ingin diaudit. Backdoor perangkat keras mudah dipahami karena memungkinkan akses oleh pihak yang tidak diizinkan pelanggan
    Model berbobot terbuka tidak terikat pada lapisan eksekusi tertentu, sehingga area keamanan yang benar-benar perlu dikhawatirkan terbatas pada bobot itu sendiri. Perlu diperjelas apakah yang dimaksud adalah injeksi instruksi adversarial, distorsi sejarah dan penyisipan propaganda, atau jalur lain yang membuat model non-berdaulat menjadi secara khusus lebih berbahaya daripada model berdaulat

• Tulisan ini sama sekali tidak membahas masalah keselamatan. Apa yang dapat menghentikan aktor jahat menyempurnakan bobot terbuka untuk menjalankan penipuan yang sepenuhnya otomatis, setara tingkat jenius, dan menargetkan praktis setiap individu?

  • Maksudnya seperti ChatGPT meretas Hugging Face? Kita juga tidak bisa menghentikan penyedia bobot tertutup melakukan penipuan tingkat jenius, bahkan tidak bisa tahu metode dan model apa yang mereka gunakan
    Pada akhirnya, untuk mencegah penyalahgunaan bobot tertutup, baik yang telah di-fine-tune maupun yang dipra-latih, pihak baik juga membutuhkan bobot terbuka
  • Apa yang saat ini menghentikan orang melakukan hal yang sama sedikit lebih lambat tanpa LLM?
  • Apa yang menghentikan seseorang memuat ribuan liter bensin dari SPBU ke truk sewaan lalu menabrakkannya ke rumah sakit? Kebanyakan orang bukan teroris, dan kita tidak bisa menyimpulkan sesuatu berbahaya hanya karena benda itu bisa menjadi salah satu unsur dalam rencana kejahatan yang canggih
  • Bagaimana kita bisa menutup kembali kotak Pandora yang sudah terbuka? Keselamatan bukan berarti hanya orang-orang yang disukai pemerintah yang diberi akses
    Keserakahan para eksekutif AI telah membuka kotak itu, dan sekarang mereka mati-matian mencari cara untuk hanya mengambil keuntungan tanpa bertanggung jawab atas akibatnya
  • Memercayai pemerintah dan raksasa teknologi juga bukan solusi. Bahkan bobot terbuka pada akhirnya dijalankan di perangkat keras orang lain
    Jika punya dana untuk menjalankannya secara lokal, Anda bisa melakukan hal-hal yang jauh lebih buruk daripada penipuan. Tanyakan saja kepada pelobi