- Pada masa awal komputasi berkinerja tinggi, perusahaan-perusahaan teknologi besar mengembangkan versi Unix tertutup mereka sendiri
- Seiring waktu, Linux open source mulai populer dan kini menjadi standar untuk komputasi cloud serta sistem operasi mobile
- AI diperkirakan akan berkembang dengan cara yang serupa
- Saat ini banyak perusahaan teknologi sedang mengembangkan model tertutup, tetapi open source bergerak cepat untuk menyusul
- Tahun lalu, Llama 2 tertinggal dibanding model generasi sebelumnya, tetapi tahun ini Llama 3 telah mencapai tingkat yang mampu bersaing dengan model-model terdepan
- Mulai tahun depan, model Llama diharapkan menjadi model paling terdepan di industri
- Llama sudah memimpin dalam hal keterbukaan, kemampuan modifikasi, dan efisiensi biaya
- Kini kita sedang melangkah ke tahap berikutnya agar AI open source menjadi standar industri
- Meta hari ini mengumumkan Llama 3.1 405B, model AI open source mutakhir pertama, serta model Llama 3.1 70B dan 8B
- Dibanding model tertutup, performa per biaya yang dimilikinya jauh lebih unggul, dan fakta bahwa model 405B bersifat open source menjadikannya pilihan terbaik untuk melakukan fine-tuning dan penyulingan pada model yang lebih kecil
- Sedang bekerja sama dengan berbagai perusahaan untuk menumbuhkan ekosistem yang lebih luas
- Bekerja sama dengan Amazon, Databricks, NVIDIA, dan lainnya untuk menyediakan layanan lengkap yang mendukung fine-tuning dan distillation model AI
- Groq membangun layanan inferensi berlatensi rendah dan berbiaya rendah
- Model ini tersedia di semua cloud utama seperti AWS, Azure, Google, dan Oracle
- Scale.AI, Dell, Deloitte, dan lainnya membantu perusahaan mengadopsi Llama dan melatih model kustom dengan data mereka sendiri
- Seiring komunitas bertumbuh dan lebih banyak perusahaan mengembangkan layanan baru, kita dapat menjadikan Llama sebagai standar industri dan membawa manfaat AI bagi semua orang
- Meta berkomitmen pada AI open source.
- Mengapa mereka percaya open source adalah stack pengembangan yang paling tepat untuk Anda,
- Mengapa menjadikan Llama open source menguntungkan bagi Meta,
- Dan mengapa AI open source baik untuk dunia,
- Karena itu mereka menjelaskan platform yang akan bertahan dalam jangka panjang
Mengapa AI open source baik bagi developer
- Dapat melatih, melakukan fine-tuning, dan distillation model secara langsung: setiap organisasi bisa menyesuaikannya ke ukuran model yang optimal dengan menggunakan data unik mereka sendiri
- Menjaga independensi tanpa bergantung pada vendor tertutup: open source menyediakan ekosistem toolchain yang kompatibel sehingga bebas untuk berpindah
- Perlindungan data: data sensitif bisa diproses di model sendiri tanpa dikirim ke API cloud
- Efisien secara biaya: model Llama 3.1 405B dapat menjalankan inferensi dengan biaya sekitar 50% lebih murah dibanding model tertutup
- Berinvestasi pada standar jangka panjang: open source berkembang lebih cepat daripada model tertutup
Mengapa AI open source baik bagi Meta
- Model bisnis Meta adalah menyediakan pengalaman dan layanan terbaik.
- Untuk itu, Meta harus selalu memiliki akses ke teknologi mutakhir dan tidak terikat pada ekosistem tertutup milik pesaing
- Pengalaman membangun layanan di platform Apple membuat mereka merasakan keterbatasan ekosistem tertutup.
- Dengan membangun ekosistem terbuka, mereka dapat menyediakan layanan yang lebih baik
- Ada kekhawatiran bahwa open-sourcing berarti melepaskan keunggulan teknis, tetapi itu melewatkan gambaran besarnya
- Perkembangan ekosistem: Llama harus berkembang menjadi ekosistem lengkap dengan tool, peningkatan efisiensi, optimasi silicon, dan integrasi lainnya. Jika hanya Meta yang menggunakan Llama, ekosistem tidak akan berkembang
- Menjaga daya saing: pengembangan AI akan sangat kompetitif, jadi open-sourcing bukan berarti melepas keunggulan teknis yang besar. Llama harus kompetitif, efisien, dan terbuka di setiap generasi
- Perbedaan model bisnis: menjual akses ke model AI bukan model bisnis Meta, jadi menjadikan Llama open source tidak menghambat pendapatan, keberlanjutan, atau kemampuan berinvestasi dalam riset. Ini juga menjadi salah satu alasan banyak penyedia tertutup melobi pemerintah untuk menentang open source
- Pengalaman open source: Meta punya sejarah proyek open source dan keberhasilan. Melalui Open Compute Project, mereka membuka desain server, jaringan, dan data center sehingga menghemat miliaran dolar. Mereka juga meng-open-source tool seperti PyTorch dan React, lalu memperoleh manfaat dari inovasi ekosistem. Pendekatan ini secara konsisten menguntungkan Meta dalam jangka panjang
Mengapa AI open source baik bagi dunia
- Open source sangat penting untuk masa depan AI yang positif
- AI dapat meningkatkan produktivitas, kreativitas, dan kualitas hidup, mempercepat pertumbuhan ekonomi, serta memungkinkan kemajuan di bidang kesehatan dan riset ilmiah
- Open source memungkinkan lebih banyak orang menikmati manfaat dan peluang AI, serta memastikan kekuatan tidak terkonsentrasi pada segelintir perusahaan
- Open source membantu teknologi AI disebarkan secara lebih merata dan aman di seluruh masyarakat, dan karena dikembangkan secara transparan, open source juga lebih aman
- Kerangka pikir saya tentang keselamatan adalah bahwa kita harus melindungi dari dua kategori bahaya
- Bahaya yang tidak disengaja: ketika sistem AI menimbulkan kerugian tanpa maksud
- Contoh: memberi saran kesehatan yang salah, replikasi diri, atau optimasi tujuan yang berlebihan
- Bahaya yang disengaja: ketika pengguna jahat memakai model AI untuk menimbulkan kerugian
- Bahaya yang tidak disengaja mencakup sebagian besar kekhawatiran
- Contoh: dampak sistem AI pada manusia, atau skenario fiksi ilmiah ketika AI membahayakan manusia
- Open source lebih aman untuk mencegah bahaya yang tidak disengaja karena sistem dapat lebih transparan dan ditinjau secara luas
- Model open source seperti Llama mungkin lebih aman dan lebih terjaga dibanding model tertutup berkat sistem keselamatan seperti Llama Guard
- Kami berupaya mengevaluasi dampak berbahaya model dan mengurangi risiko, termasuk melalui pengujian ketat dan aktivitas red teaming
- Model dipublikasikan sehingga siapa pun dapat mengujinya.
- Karena model AI belajar dari informasi di internet, kita perlu mempertimbangkan apakah model tersebut dapat menimbulkan bahaya yang lebih besar daripada informasi yang sudah ada
- Pertimbangan terhadap bahaya yang disengaja
- Kita harus membedakan antara pelaku skala kecil dan pelaku skala besar
- Di masa depan, individu dengan niat jahat bisa menggunakan model AI untuk menciptakan bentuk bahaya baru
- AI perlu didistribusikan secara luas agar pelaku besar dapat menyeimbangkan kekuatan pelaku jahat berskala kecil
- Jika institusi besar menerapkan AI dalam skala besar, hal itu akan mendorong keamanan dan stabilitas di seluruh masyarakat
- Respons Amerika Serikat dan negara-negara demokratis
- Kekuatan Amerika Serikat adalah inovasi terbuka yang terdesentralisasi
- Ada juga argumen bahwa model harus ditutup agar China tidak bisa mengaksesnya, tetapi itu tidak efektif
- Karena kemampuan spionase sangat maju, model mudah dicuri
- Dunia yang hanya memiliki model tertutup akan membuat segelintir perusahaan besar dan negara lawan dapat mengakses model, sementara startup, universitas, dan perusahaan kecil besar kemungkinan kehilangan kesempatan
- Jika inovasi Amerika dibatasi pada pengembangan tertutup, akan sulit mempertahankan posisi terdepan
- Kita harus membangun ekosistem terbuka dan bekerja sama dengan pemerintah serta sekutu untuk memaksimalkan manfaat teknologi terbaru
- AI open source adalah cara terbaik di dunia untuk memaksimalkan peluang ekonomi dan keamanan
- Perusahaan teknologi besar dan riset ilmiah saat ini dibangun di atas perangkat lunak open source
- Perusahaan dan riset generasi berikutnya juga akan menggunakan AI open source
Mari kita bangun bersama
- Meta mengambil pendekatan yang berbeda dibanding model Llama sebelumnya
- Kami membentuk tim secara internal untuk membantu sebanyak mungkin developer dan mitra agar dapat menggunakan Llama
- Kami secara aktif membangun kemitraan agar lebih banyak perusahaan dalam ekosistem dapat memberikan kemampuan unik kepada pelanggan mereka
- Kami percaya rilis Llama 3.1 akan menjadi titik balik industri ketika sebagian besar developer mulai terutama menggunakan open source
5 komentar
Melihat apa yang telah dilakukan Meta, tampaknya mereka sangat mungkin membiarkan terjadinya dampak buruk, baik yang tidak disengaja maupun yang disengaja. Menurut penilaian pribadi saya, Zuckerberg adalah orang yang tidak dapat dipercaya.
Apakah Llama itu open source? Tidak.
Data pelatihan = kode sumber
Model Llama 3.1 kali ini memang dirilis sebagai open source. Namun, data pelatihannya tidak dipublikasikan. Dalam AI dan deep learning, data pelatihan adalah "kode sumber", sedangkan model itu seperti aplikasi (app). Karena itu, pada dasarnya Llama tidak bisa disebut open source. Meta hanya merilis aplikasi model bahasa gratis.
Apakah ada kemungkinan Meta akan membuka data pelatihan Llama? Tidak.
Data pelatihan Llama mencakup 15 triliun token teks saja, dan untuk pelatihan multimodal kemungkinan juga ada data gambar, video, dan audio. Sebagian besar dari data tersebut bisa jadi merupakan data pelanggan dari Facebook atau Instagram dan layanan lainnya. Karena itu, jika data tersebut dibuka, hal itu akan menimbulkan isu besar secara sosial terkait kepemilikan data dan hak cipta, sehingga diperkirakan Meta tidak akan bisa mempublikasikan data tersebut meskipun mereka ingin melakukannya.
Meta keren banget.
Opini Hacker News
Istilah seputar AI open source membingungkan
Ada keuntungan besar bagi startup AI dan para pengembang
Meta adalah salah satu dari sedikit perusahaan AI besar yang menyediakan model terbuka
Model pendapatan iklan Meta patut diperhatikan
Meta ingin memosisikan diri sebagai juara open source AI