AI open source harus menang
(opensourceaimustwin.com)- AI adalah infrastruktur peradaban untuk pekerjaan, pendidikan, sains, perangkat lunak, kreasi, layanan publik, dan kapasitas negara, sehingga aksesnya tidak boleh ditentukan oleh syarat dan harga dari segelintir perusahaan
- Kemampuan untuk meneliti, membangun, memperbaiki, mendistribusikan, mengaudit, menyesuaikan, melatih, melestarikan, dan menjalankan sistem kecerdasan tanpa izin berkaitan langsung dengan kebebasan operasional
- AI open source harus tetap dapat digunakan meskipun laboratorium dominan saat ini, laboratorium luar negeri, vendor perangkat keras, platform cloud, atau penyedia model berbobot terbuka mengubah arah atau menghilang
- Jika segelintir laboratorium frontier tertutup dan perusahaan platform mengendalikan model, ada risiko infrastruktur kecerdasan menjadi ekonomi langganan kognitif
- Amerika Serikat tidak boleh tertinggal dalam kebebasan untuk menjalankan, memeriksa, memodifikasi, membandingkan, melatih, dan melestarikan infrastruktur kecerdasan, dan sikap yang praktis harus memadukan kapasitas Amerika dengan standar terbuka global
AI open source harus menang
- Jika kecerdasan menjadi sesuatu yang hanya bisa dipinjam dari segelintir institusi tertutup, publik akan kehilangan bukan hanya kebebasan perangkat lunak tetapi juga kebebasan operasional
- Sistem kecerdasan harus bisa diteliti, dibangun, diperbaiki, didistribusikan, diaudit, disesuaikan, dilatih, dilestarikan, dan dijalankan tanpa izin, dan kemampuan ini sangat penting secara eksistensial
- AI dipandang sebagai infrastruktur peradaban yang menopang pekerjaan, pendidikan, sains, perangkat lunak, kreasi, layanan publik, dan kapasitas negara
- Akses ke AI tidak boleh bergantung pada API tertutup, platform jarak jauh, syarat layanan yang berubah-ubah, penyesuaian yang tidak transparan, ketersediaan model, atau harga yang ditentukan oleh segelintir perusahaan
Syarat yang harus dipertahankan AI open source
- AI open source harus dapat digunakan, dapat dipahami, dan dapat direproduksi
- AI open source harus memungkinkan deployment lokal, berkelanjutan secara ekonomi, dan memungkinkan komunitas memegang tata kelola
- Meski laboratorium dominan saat ini, laboratorium luar negeri, vendor perangkat keras, platform cloud, atau penyedia model berbobot terbuka mengubah arah atau menghilang, AI open source harus tetap berjalan
- Jika segelintir laboratorium frontier tertutup dan perusahaan platform mengendalikan model, ada risiko infrastruktur kecerdasan menjadi ekonomi langganan kognitif
- Amerika Serikat tidak boleh tertinggal dalam kebebasan untuk menjalankan, memeriksa, memodifikasi, membandingkan, melatih, dan melestarikan infrastruktur kecerdasan
- Sikap yang praktis harus berupa pendekatan yang menempatkan kapasitas Amerika bersama standar terbuka global
2 komentar
Pendapat di Lobste.rs
Tidak ada yang namanya “AI” open source. LLM yang bisa dijalankan secara lokal hanyalah gumpalan hitam yang diberikan berkat kemurahan hati perusahaan raksasa yang menghabiskan jutaan dolar untuk tiap versi pelatihan dan mengendalikan penuh data masukannya
Individu yang tidak kaya secara mandiri tidak bisa meninjau sepenuhnya bagaimana model itu dibuat, mengutak-atik dataset pelatihan aslinya, atau membuat ulang dari nol kapan pun mereka mau
Keharusan menjalankan LLM gratis yang sudah dikompilasi sebelumnya di komputer pribadi adalah bentuk ketergantungan yang dibiasakan pada infrastruktur terpusat, dan dalam kenyataan saat ini lebih mirip tindakan mendukung teknologi yang secara struktural tidak bisa dikendalikan individu. Lebih baik menulis manifesto bahwa fusi dinginlah yang harus menang
Tentu saja, kebanyakan model seperti ini tidak berada di level model terdepan jika hanya dilihat dari kapabilitas teknis, dan dalam banyak kasus memang bukan itu tujuannya. Misalnya, EU mendanai pengembangan model yang lebih merepresentasikan bahasa-bahasa di dalam EU untuk keperluan seperti terjemahan
Dan saya juga tidak menganggap model open source menurut definisi harus bisa dijalankan secara lokal. Jika model itu benar-benar terbuka, maka meskipun perusahaan di belakangnya bangkrut, dasar untuk pengembangan lanjut model itu tidak akan terkunci di dalam perusahaan, sehingga risikonya jauh berkurang. Perangkat lunak open source juga tidak selalu berarti “bisa saya jalankan murah di mesin lokal saya”
Contoh LLM yang relatif terbuka belakangan ini adalah NVIDIA-Nemotron-3-Nano-30B-A3B (kode open source, sebagian besar dataset pelatihan tersedia) dan Olmo-3.1-32B-Think (kode open source, seluruh data pelatihan dipublikasikan di Hugging Face)
Secara teori, siapa pun bisa mereproduksi model serupa, menentukan data apa yang dipakai untuk pelatihan, atau memodifikasi resep pelatihan. Namun benar bahwa bagi individu yang tidak kaya, pra-pelatihan tetap belum terjangkau
OLMo secara eksplisit disebut sebagai model yang lolos tahap verifikasi OSI, dan Pythia juga telah diverifikasi OSI memenuhi persyaratan sistem AI open source. Lucie-7B adalah salah satu LLM multibahasa awal yang mengikuti definisi AI OSI, dan para pembuatnya menyatakan bahwa dataset pelatihan, kode persiapan data, dan bobot model semuanya tersedia dengan lisensi terbuka
Benar juga bahwa melatih dari nol memerlukan banyak uang. Tapi kalau begitu, apakah memakai kernel Linux juga akan disebut “ketergantungan yang dibiasakan”? Karena syarat-syarat yang sama juga berlaku di sana
“AI bukanlah infrastruktur peradaban untuk pekerjaan, pendidikan, sains, perangkat lunak, kreasi, layanan publik, dan kapasitas negara.” Orang-orang yang mengendalikannya hanya ingin menjadikannya seperti itu dan sedang mendorongnya mati-matian, tetapi kenyataannya tidak demikian
Tinggal jangan mengalihdayakan pikiran ke mesin yang boros sumber daya, melanggar hak cipta, dan berhalusinasi 😘
Tentu, tidak memusatkan kekuasaan ini ke tangan segelintir perusahaan raksasa memang menyelesaikan salah satu masalah besar AI saat ini, tetapi sama sekali tidak menyelesaikan masalah-masalah lainnya
Agen coding lokal terkecil yang benar-benar berguna dalam praktik adalah Qwen3.6 27B, dan itu berjalan cukup lancar di kartu NVIDIA dengan pembatasan daya, sesekali di kisaran 280~300W. Listrik untuk memakainya seharian buat coding mungkin lebih sedikit daripada memainkan Subnautica 2 selama beberapa jam di mesin gaming desktop. Salah satu alasannya juga karena model kecil tidak bisa terlalu banyak diberi alih tugas berpikir, jadi AI lebih sering diam dan manusialah yang lebih banyak berpikir
Biaya pelatihan memang lebih besar, tetapi jika hanya berniat melatih beberapa model skala 27B per tahun, dalam keseluruhan peradaban industri itu nyaris tenggelam sebagai angka kecil. Dulu saya pernah menghitung, hasilnya kira-kira menambah satu smelter aluminium bertenaga panas bumi di Islandia saja sudah cukup untuk melatih beberapa model kelas 27B. Bukan gratis, tetapi hampir setara kesalahan pembulatan
Pemakaian listrik saat inferensi lebih rendah daripada tiga lampu pijar, dan itu pun hanya saat model benar-benar sedang menghasilkan keluaran. Pemakaian listrik saat pelatihan memang setara satu fasilitas industri besar, tetapi hampir semuanya juga bisa memakai energi terbarukan. Islandia bagus untuk hal seperti itu
Soal “pelanggaran hak cipta”, menurut preseden hukum AS saat ini tampaknya itu tidak tepat, dan memperluas kekuasaan hak cipta juga perlu didekati dengan hati-hati. Sejak 1990-an saya menentang perluasan hak cipta, jadi walaupun saya tidak suka cara pelatihan LLM dilakukan, isu ini tampaknya sudah bergeser keluar dari ranah hukum hak cipta menuju ranah politik dan legislasi. Namun, kasus Anthropic yang sekadar menyalin buku secara ilegal memang pengecualian
Tetapi masalah mengalihdayakan pikiran memang cepat berubah menjadi berantakan. Banyak orang sedang berusaha menjadikan diri mereka boneka daging dewa mesin, dan itu menakutkan
Ini mirip dengan mengatakan pembunuhan itu buruk “karena ilegal”. Pembunuhan memang buruk, tetapi alasan keburukannya bukanlah sifat ilegalnya. Hukum bisa berubah. Jika arus opini dibangun di atas gagasan bahwa AI itu buruk karena hak cipta lalu parlemen melegalkannya, apakah semua orang tiba-tiba akan menerima AI sebagai sesuatu yang baik? Ada alasan penolakan lain yang lebih dekat dengan inti kekhawatiran sebenarnya, dan mungkin akan lebih produktif jika berkumpul di sana
Alexandra Elbakyan juga seorang pelanggar hak cipta. Tapi dia orang dewasa, dan patung dirinya seharusnya ada di setiap universitas
Masa depan machine learning dan model bahasa besar yang sungguh terbuka dan adil tidak mungkin ada tanpa mempertimbangkan seluruh rantai pasok. Saya sarankan membaca https://time.com/6247678/openai-chatgpt-kenya-workers/
Kita akan segera mencapai puncak data, dan setelah itu perkembangan kemungkinan besar akan datang dari penggunaan LLM mutakhir secara terikat sebagai agen
Model open source terakhir yang dirilis kemungkinan besar akan dipakai selama bertahun-tahun ke depan sebagai fondasi bagi superstruktur agen open source atau lapisan lain yang terus berubah
Lebih tepatnya, publik perlu menyadari besarnya pendanaan publik yang diterima big tech selama 20 tahun terakhir, terutama belakangan ini, lalu menuntut hak atas infrastruktur yang dibayar dengan pajak
Perusahaan-perusahaan ini tidak akan pernah bisa ada tanpa suntikan dana publik yang sangat besar. Selain itu, data pelatihannya pun sebagian besar diambil langsung dari ruang bersama publik
Model-model ini bukan hasil upaya privat, melainkan hasil akhir dari upaya kolektif yang sangat besar, dan secara hukum harus diakui sebagai barang bersama publik
Entah ini penting atau tidak, entah ini gelembung atau bukan, entah ini sekadar prediktor token yang berhalusinasi atau bukan, sangat penting bagi semua negara untuk memiliki kerangka hukum yang memaksa “Frontier lab” membuka model-model selain yang paling mutakhir sebagai open source
Cakupan keterbukaan itu harus mencakup bobot, data pelatihan, metodologi, dan sebagainya, atau kalau tidak tiap model harus diwajibkan menjadi open source setelah 10~15 tahun. Demi kemajuan pengetahuan manusia dan untuk mencegah pemisahan antara “yang punya” dan “yang tidak punya”, semua model harus dibuka setelah jangka waktu tertentu
Anda mungkin mengira AGI tidak dekat, tetapi niat laboratorium terdepan ini adalah mencapai AGI lebih dulu lalu menyimpannya sendiri di balik paywall. Entah peluangnya besar atau kecil, demi kepentingan seluruh umat manusia hal seperti itu harus dicegah
Opini Hacker News
Sudah lama kami mempertimbangkan membuat sistem pelatihan model terdistribusi dengan mesin-mesin yang berkontribusi secara sukarela, tetapi secara realistis tingkat kesulitannya sangat tinggi
Kecepatan komunikasi tidak akan mampu menanggungnya, dan kontaminasi data dari node yang tidak tepercaya juga menjadi masalah
Yang terakhir tampaknya hampir bisa diatasi dengan sistem rollback checkpoint yang dapat pulih sendiri sehingga tidak perlu membuang semua hasil setelah data terkontaminasi, tetapi ini bukan proyek kecil yang bisa dikerjakan satu orang hanya bermodal ide
Jika nanti seluruh lab frontier benar-benar dilarang membuat kemajuan tambahan, arah seperti ini mungkin akan mulai menarik
Total seluruh GPU di bumi akan melampaui kapasitas mereka, tetapi kita butuh cara untuk memanfaatkannya secara terdistribusi dengan efisien
Mungkin tidak bisa melatih Fable secepat mereka, tetapi suatu hari bisa mengaksesnya tetap lebih baik daripada selamanya tidak bisa
Perangkat keras khusus AI bukan hanya jauh lebih cepat daripada GPU konsumen, tetapi juga jauh lebih efisien daya dan jauh lebih unggul dalam konektivitas, dan masing-masing dari tiga faktor ini cukup untuk menggagalkan ide tersebut
Perbedaan efisiensi dayanya begitu besar sehingga bahkan jika semua GPU publik atau perangkat serupa di bumi dikumpulkan, biaya listriknya akan terlalu mahal, dan secara total biaya bisa jadi malah lebih murah membangun data center sendiri dengan uang itu
Bahkan jika listrik gratis sekalipun, mengikat GPU yang tersebar di seluruh dunia melalui latensi internet akan membuatnya ribuan hingga jutaan kali lebih lambat, dan belum tentu juga memungkinkan
Bagaimanapun, tampaknya kita tidak akan mendapatkan fable-oss dalam dekade ini, dan mungkin bahkan tidak juga dalam abad ini
Akan lebih baik jika pemerintah, meski dalam bentuk aliansi, langsung membeli dan memiliki data center lalu mengoperasikannya demi kepentingan publik; menurut saya memang itulah yang harus dilakukan
Sebaliknya, mereka membayangkan ribuan data center kecil atau pengguna individu yang mengumpulkan komputasi sisa melalui internet dan mengoordinasikan satu training run yang lebih besar daripada yang bisa dilakukan satu entitas sendiri
Perusahaan seperti Pluralis Research, Prime Intellect, dan Nous Research mengejar visi ini dan sudah berhasil melakukan pelatihan terdistribusi pada skala tertentu, tetapi dalam praktiknya pelatihan terdistribusi berbasis internet masih jauh tertinggal dibanding pelatihan terpusat
Bahkan model terbesar seperti 8B Protocol Model milik Pluralis, INTELLECT-1 milik Prime Intellect, dan Consilience 40B milik Nous dilatih dengan komputasi 1.000 kali lebih sedikit daripada model frontier saat ini seperti Grok 4 dari xAI
https://epoch.ai/gradient-updates/how-far-can-decentralized-...
Itu salah paham tentang berapa banyak silikon yang justru masuk ke perusahaan-perusahaan itu, dan seberapa jauh lebih kuat silikon tersebut dibanding perangkat konsumen
Model BLOOM juga merupakan hasil yang dibuat secara kolaboratif: https://huggingface.co/docs/transformers/en/model_doc/bloom
Nous mengklaim sudah melakukannya: https://github.com/NousResearch/DisTrO
Di masa lalu juga ada makalah kompresi gradien yang melaporkan rasio kompresi besar
Kita juga memerlukan inferensi LLM terdistribusi
Sekarang kita sudah sampai pada titik ketika terlalu mahal bagi satu orang untuk merakit perangkat yang bisa menjalankan model terbaru
Karena itu kita perlu membuat dan mengadopsi framework agar individu dapat berbagi sumber daya dan menjalankan model terbaru secara terdistribusi
Dengan begitu pemerintah juga akan lebih sulit menyensor
Satu-satunya cara agar tidak ada satu entitas yang mempersenjatainya adalah memberi akses kepada semua orang
Ia menjalankan inferensi terdistribusi penuh di Mac, Windows, Linux, Android, iOS, bahkan HarmonyOS
Model open source/open weight akan terus membaik, dan pada akhirnya model setingkat mythos akan bisa berjalan bahkan di hardware ponsel atau kacamata
Hanya saja saat ini mencocokkan suplai dan permintaan benar-benar merepotkan
Misalnya, MacBook dengan RAM 16GB secara fisik tidak berarti benar-benar bisa memakai penuh 16GB itu, dan ada juga masalah mencocokkan model serta pengaturan (kvcache, context limit, temperature, dll.) dengan permintaan
Kita butuh inferensi AI oleh manusia, untuk manusia, jadi bantuan sangat disambut
Proyek bernama Petals memang pernah mengklaim hingga 4 tok/s pada model 180B, tetapi repositorinya tidak diperbarui selama 2 tahun
https://petals.dev/
Dalam ruang kebijakan, ada juga pendekatan di mana pemerintah mengatur baik akses maupun monopoli
Saya menentang monopoli atas teknologi ini, tetapi risikonya jika semua orang diberi AGI/ASI yang sudah dijailbreak juga harus jelas
Sebagai contoh mainan, kita bisa membayangkan pemerintah mensubkontrakkan ke beberapa lab riset (n_quorum) dan memberi semua orang anggaran token sebagai AI dasar universal
Namun pengoperasian API tetap harus disertai kontrol keamanan
Jika semua orang menjalankan AGI hasil jailbreak mereka sendiri, satu-satunya norma sosial yang stabil tampaknya hanyalah pengawasan massal untuk memantau siapa yang akan membuat ancaman CBRNE
Dari sudut pandang kebebasan sipil, ini tidak tampak seperti kemenangan yang jelas, tetapi saya paham bahwa logika seperti itu bisa diajukan
Di rumah dan bisnis saya, itu sudah menang sejak awal.
Tepatnya, yang menang adalah bobot terbuka, dan perbedaan halus itu terasa mengganggu.
Saya tidak pernah paham dengan sikap yang membuat operasi atau pengembangan produk sepenuhnya bergantung pada source tertutup milik salah satu dari dua startup besar yang model bisnisnya belum jelas dan cara kerjanya tidak transparan.
Itu juga bertentangan dengan prinsip rekayasa yang sehat.
Karena itu saya memang tidak berniat melakukannya, dan alasan saya mau meluangkan waktu mengeksplorasi AI sekarang juga karena bobot terbuka membuatnya terasa layak dijajaki.
Bisnis sudah terlalu sering tunduk pada satu platform pembayaran dan kebijakan dua penyedia kartu kredit AS; itu saja sudah cukup buruk.
Mungkin karena watak freelancer, saya selalu gelisah ketika diminta mencurahkan terlalu banyak energi untuk mempelajari dan menguasai produk milik orang lain, bukan teknologi dasarnya.
Saya juga ingat masa ketika Microsoft membujuk berbagai jurusan dengan menjanjikan akses ke source code NT.
Saya juga ingat seorang petinggi di pihak kami berkata bahwa Linux itu hanya pinggiran, dan akses NT-lah yang akan membuat kami relevan.
Saya terus mengingatkan diri sendiri dan orang sekitar bahwa kita selalu butuh lebih banyak kendali atas nasib sendiri, dan bahwa state of the art itu berada di depan teknologi stabil terbaru.
Kemajuan memang terjadi di garis depan, tetapi di sana juga ada risiko kerusakan.
Rekayasa seharusnya berfokus membangun di atas teknologi stabil terbaru, bukan menumpang pada kemajuan orang lain.
Alat seperti llama.cpp memang terbuka, tetapi tanpa bobot, alat itu tidak berguna.
Bobot adalah bentuk modal yang sangat mahal dan disumbangkan oleh organisasi-organisasi besar yang sedang saling berperang.
Saya tidak tahu apakah archive.org bisa membuat bobot yang benar-benar terbuka, dan selain archive.org, sulit juga membayangkan organisasi open source lain seperti freebsd atau apache berada pada posisi untuk melakukannya.
Kalau ada yang mungkin, barangkali pemerintah, lembaga pemerintah, atau universitas.
Tetapi saat ini lembaga-lembaga seperti itu belum punya dana, kewenangan, kemauan, atau minat yang cukup untuk menggelontorkan uang ke infrastruktur pembuatan bobot.
AI melengkapi cara pengembangan di bisnis kami, dan para engineer jauh lebih suka memakai Opus 4.8 daripada model open source terbaik sekalipun.
Saya percaya open source itu penting, tetapi di bisnis saya, saya tetap akan memakai alat terbaik yang tersedia.
Jika open source dimaknai sebagai perangkat lunak gratis, itu pada dasarnya mirip dengan sekadar ingin salinan gratis.
Yang seharusnya kita bicarakan adalah proyek yang terbuka dan dikelola komunitas, yang bersama-sama menjalankan pretraining dan training.
Itu berarti korpus training dikelola secara terbuka dan pekerjaan training dikoordinasikan dengan suatu cara.
Ini mengubah makna istilahnya sepenuhnya, dan mirip dengan orang yang mencampuradukkan pembajakan dan pencurian.
Itu dua hal berbeda, jadi seharusnya memakai kata yang berbeda.
Bobot gratis, kode inferensi, dan template chat sangat berbeda dari proyek LLM yang dikelola komunitas.
Siapa yang akan mendanai?
Biaya training luar biasa mahal sampai sulit dibayangkan.
Yang ada hanya model pendanaan VC yang mengejar imbal hasil, atau model pendanaan PKT yang bertujuan mengukuhkan model sosial Tiongkok yang otoriter.
Mungkin ada model 4B di universitas, tetapi tampaknya sulit melangkah jauh.
Saya masih takjub setiap hari bahwa komputer Linux saya memberi pengalaman yang hampir setara dengan sistem operasi buatan dua perusahaan bernilai triliunan dolar.
Bahkan Linux melakukan hal-hal yang tidak bisa dilakukan alternatif komersial itu.
Jika DeepSeek benar-benar bisa merilis model dengan biaya hanya 1/10 dari pesaing Barat dan dengan hanya sebagian dari jumlah karyawan mereka, itu bisa berarti ada pasar bagi pihak yang ingin menyediakan alternatif di bidang ini.
Saya memikirkan mengapa perusahaan seperti IBM rela berkontribusi ke Linux dan merilis kontribusinya secara gratis.
Karena mereka bagian dari kelompok sponsor korporat yang membutuhkan alternatif terhadap pemain komersial yang lebih dominan di pasar.
Alasannya mirip dengan mengapa Meta pada dasarnya merilis React secara gratis.
Menjadi standar dan bisa merekrut orang yang sudah mengenalnya lebih menguntungkan bagi Meta.
Lebih sulit membayangkan manfaat ekosistem yang sama pada model AI, tetapi mungkin saja ada di suatu tempat.
Saya bisa membayangkan penyedia datacenter/VPS mensponsori sesuatu seperti itu untuk mengurangi daya tawar perusahaan AI besar.
Tentu saja, optimisme ini juga bisa saja hanya angan-angan.
Jika pembuat model boleh mengeruk karya orang lain untuk training lalu mencuci informasi itu seolah milik mereka sendiri tanpa harus mengembalikan apa pun kepada pencipta aslinya, saya tidak mengerti mengapa mendistilasi model harus dianggap ilegal.
Itu pada dasarnya sama dengan yang dilakukan pembuat model frontier terhadap kekayaan intelektual pihak lain secara luas.
Training sekarang mahal dengan cara yang sulit dibayangkan.
Bagaimana jika banyak universitas patungan?
Bagaimana jika banyak negara patungan?
Pada akhirnya akan ada terobosan dan optimisasi.
Dulu orang juga meragukan apakah sistem operasi open source bisa layak, tetapi Linux selama puluhan tahun telah menjadi pilihan nyata untuk desktop, dan apalagi untuk server serta sistem operasi ponsel, penggunaannya sudah sangat luas.
Tidak ada nilai dalam memakai model lama.
Manifesto open source AI menuntut bahwa “open source AI juga harus berkelanjutan secara ekonomi,” tetapi itu lebih terdengar seperti angan-angan.
gpt-oss sekarang memang sudah usang, tetapi saat dirilis dulu cukup bagus.
Nemotron juga solid, terutama rilisan ultra terbaru.
Nvidia punya cerita yang jauh lebih baik, terutama dibanding model-model Tiongkok, karena mereka membuka bukan hanya modelnya tetapi juga semua bagian lain, termasuk data pra- dan pascapelatihan.
Daripada mendapatkan model open source sebagai produk sampingan perusahaan, saya sangat bersedia membayar 50 dolar per bulan untuk mendukung lab riset AI open source.
Bagaimana kita bisa tahu bahwa lab riset AI open source itu nantinya tidak akan spin off menjadi perusahaan profit dengan satu cara atau cara lain?
Mungkin saya sebaiknya mulai memakai API mereka.
Itu juga bukan produk sampingan perusahaan.
AI dengan bobot terbuka mungkin tidak memiliki insentif untuk menarik modal besar bagi pelatihan dan riset
Mungkin saja akan muncul hal seperti dana donasi, tetapi jelas tidak akan mampu menandingi tingkat pendanaan yang diterima lab frontier
Karena itu, saya rasa mungkin tidak realistis jika AI hanya ada dalam bentuk bobot terbuka
Pemain utama seperti OpenAI, Anthropic, dan Google akan tetap ada, dan kemungkinan besar akan memiliki model yang lebih baik daripada versi open source
Ini bisa terlihat seperti hubungan antara Photoshop dan GIMP
Photoshop adalah lab frontier, dan GIMP adalah model berbobot terbuka
GIMP cukup layak dipakai untuk berbagai alur kerja pengeditan gambar, tetapi Photoshop memang lebih baik
Tentu akan sangat bagus jika ada model berbobot terbuka yang lebih baik daripada lab frontier, tetapi saya tidak melihat itu realistis
OpenAI dan lainnya juga bisa merilis produk on-premises
Baik itu berupa appliance rack atau bentuk lain, perusahaan besar akan ingin menjalankan inferensi secara lokal demi kedaulatan data dan kontrol biaya
Terutama ketika tiba saatnya mengintegrasikan AI ke manufaktur atau jaringan lain yang terisolasi secara fisik
Saat ini kita sedang berada di semacam fase ekspansi cepat, tetapi kecuali teknologi di balik AI benar-benar terus berevolusi, membuat model yang makin baik akan semakin sulit dan imbal hasilnya akan makin menurun
Jika GIMP-nya LLM bisa mencapai 80% performa model yang didanai VC, itu sudah akan cukup berguna bagi banyak orang
Bahkan jika benar tidak sebaik model proprietari, menurut saya hanya dengan adanya opsi untuk memakai model open source saja itu sudah merupakan kemenangan
Begitu terbukti bahwa mustahil memeras triliunan dolar dari konsumen, valuasi bernilai triliunan akan dianggap tidak bermakna
Sementara itu, dan bagaimanapun juga, jika optimisasi perangkat lunak dan penskalaan perangkat keras terus berlanjut, tak lama lagi bobot terbuka dengan kemampuan yang melampaui Fable akan berjalan di perangkat seluler
Hanya saja saya tidak tahu bagaimana itu bisa menjadi praktis
Beberapa model AI begitu besar sehingga hanya masuk akal dijalankan di pusat data hyperscale paling mutakhir
Merilis model seperti itu sebagai open source pada umumnya hampir tidak bermakna
Skalanya jauh lebih besar bahkan dibanding model terbuka terbesar saat ini, sampai-sampai inferensi lambat di klaster sementara yang kecil dan murah pun praktis tidak mungkin
Fable mungkin sudah berada di titik itu
Saya setuju dengan semangat dan misinya, tetapi tujuan ini sekarang tidak bisa dipisahkan dari politik
Menjadi Open Source(tm) tidak akan mencegah pemerintah atau pihak lain mengendalikan silikon atau apa yang bisa dilakukan silikon itu, dan hal seperti ini sudah terjadi di seluruh dunia
Sekalipun modelnya open source, itu tidak menyelesaikan regulasi atau insentif ekonomi
Ini bukan masalah yang bisa diringkas dalam beberapa paragraf
AI adalah infrastruktur peradaban, dan yang dibutuhkan bukan hanya source code, melainkan solusi tingkat peradaban
Semua orang tahu perusahaan AI mengambil materi pelatihan tanpa izin, tetapi tidak akan terjadi apa-apa
Ini contoh gamblang penerapan hukum berdasarkan kelas
Alasan mereka menerapkan hukum sesuka hati akan selalu dibungkus sebagai keamanan nasional
Karena mereka memiliki infrastrukturnya, kepentingan mereka pun menjadi keamanan nasional
Setiap kali teknologi membuat lompatan besar, tatanan memang bisa terguncang, tetapi kapitalisme finansial cepat beradaptasi dan menyerap gelombang itu
Jika belum dibahas dalam tulisan, penting membedakan open source dan bobot terbuka
Model berbobot terbuka hampir seperti narkoba pengantar dengan dosis pertama gratis
Setidaknya tanpa data pelatihan asli, kemampuan untuk melakukan peningkatan yang bermakna sangat terbatas, sehingga cepat tertinggal dari model terbaru yang terus dikembangkan
Lalu orang akan mendambakan rilis berikutnya atau kembali ke API milik penyedianya
Bahkan hanya dengan memajukan knowledge cutoff saja pengalaman pengguna sudah membaik secara nyata, belum lagi inferensi, pelatihan sadar kuantisasi, dan berbagai peningkatan lain yang akan datang
Riset untuk meningkatkan model berbobot terbuka memang bisa dilakukan, tetapi kesimpulannya tetap sama
Jika bukan open source, manfaat yang diberikan kepada masyarakat umum jauh lebih kecil
AI open-source menurut definisinya tidak mungkin benar-benar menang
AI saat ini pada akhirnya lebih mirip optimisasi hill-climbing, dan lab tertutup bisa menyerap semua yang dilakukan dunia terbuka lalu menumpuk lebih banyak di atasnya
Dalam kebanyakan kasus penggunaan, ini bukan masalah besar, karena AI bekerja dengan pola saturasi kapabilitas
https://www.delanceyukschoolschesschallenge.com/the-rising-t...
Pengecualiannya hanya bidang-bidang yang secara esensial berhadapan dengan alam atau pihak lain, seperti area yang keunggulan kompetitif relatifnya penting
Kemenangan besar kedua kemungkinan adalah saat orang biasa bisa menjalankannya di perangkat keras mereka sendiri
Microsoft bisa belajar sebanyak apa pun dari Linux, tetapi Linux bukan hanya tetap relevan meski ada para pesaing komersial, melainkan kini telah menjadi sistem operasi yang paling luas digunakan secara sangat dominan, tidak seperti kasus seperti pangsa pasar Firefox saat ini
Tampaknya kemampuan untuk menyerap semua ide atau data bagus dari sistem terbuka bukanlah satu-satunya faktor penentu
Saat ini Fable dan Mythos adalah yang paling mutakhir, tetapi tak lama lagi akan menjadi komoditas
Untuk setiap satu perusahaan yang ingin unggul dengan model terbaru seperti OpenAI/Anthropic, akan ada kira-kira seratus perusahaan yang ingin mengkomoditaskan pelengkapnya
Kemenangan open source cukup berarti bahwa setidaknya ada satu alternatif terhadap model tertutup yang kualitasnya sekitar setara GPT-4
Sebenarnya, kita sudah hampir sampai di titik itu dengan model-model Google Gemma
Sebagai software engineer, saya tidak lagi merasakan perbedaan produktivitas sejak Sonnet
Tentu Opus lebih baik dan Fable lebih baik lagi, tetapi dari sudut pandang nilai ekonomi, kita sudah menabrak diminishing returns
Saat saya berpindah dari salah satu model GPT awal di Cursor ke Claude Code dan Sonnet, saya merasakan hampir peningkatan produktivitas 5x lipat
Sebelum Claude Code, saya hanya memakai AI untuk potongan kode kecil, tetapi dengan Claude Code + Sonnet, saya bisa menyerahkan seluruh sub-tugas
Meski begitu, saya masih belum cukup percaya untuk menyerahkan satu fitur penuh sampai selesai kepada Opus
Saya juga tidak yakin itu akan terjadi suatu hari nanti, dan mungkin memang tidak perlu
Perusahaan memang menuntut tingkat kemampuan yang cukup tinggi dari software engineer, tetapi setelah melewati ambang itu, mereka benar-benar tidak terlalu peduli
Bahkan jika perbedaannya besar, mereka mungkin tidak akan menyadarinya