Unix vs. Linux
Oracle vs. MySQL
Open source telah mendorong inovasi melalui kolaborasi. Kekuatan open source adalah transparansi dan kolaborasi. Keberhasilan open source seperti Linux dan MySQL adalah hasilnya.
GPT-n vs. Llama ?
Llama memiliki batasan dalam inovasi terbuka.
Untuk menginovasikan model Llama, pra-pelatihan harus dimungkinkan, tetapi saat ini yang bisa dilakukan hanya pascapelatihan. Alasannya, data pelatihan Llama tidak dibuka. Dalam AI dan deep learning, source code adalah dataset pelatihan. Namun, Llama hanya membuka bobot model, sementara data pelatihan, kode pelatihan model, hyperparameter, dan lainnya tidak dibuka. Dengan bobot Llama saat ini, inovasi yang bersifat tuning seperti fine-tuning dan peringanan model memang dimungkinkan, tetapi inovasi pada bobot model yang hanya bisa dicapai melalui pra-pelatihan tidak mungkin dilakukan. Sebab, dalam AI dan deep learning, mengembangkan dataset pelatihan adalah bentuk coding dan debugging. Karena data pelatihan Llama bersifat tertutup, publik tidak punya cara untuk berkolaborasi dan memperbaikinya. Dalam hal ini, sulit menyebut Llama sebagai open source.
Selain itu, komunitas juga kekurangan sumber daya GPU.
Disebutkan bahwa pelatihan Llama menggunakan H100*16k GPU. Hanya GPU-nya saja nilainya melebihi 600 miliar won. Jika memperhitungkan biaya tambahan seperti infrastruktur untuk menjalankannya dan biaya listrik, totalnya akan dengan mudah melampaui 1 triliun won. Ini bukan sesuatu yang bisa dicoba sembarang orang. Agar inovasi bisa terjadi di komunitas open source, tampaknya harus ada klaster GPU publik.
Singkatnya
Agar open innovation dimungkinkan di bidang AI dan deep learning, setidaknya dua hal berikut harus terpenuhi.
Data pelatihan dibuka
Penyediaan klaster GPU publik berskala besar
Namun, poin pertama tampaknya kecil kemungkinannya karena masalah hak cipta. Dan poin kedua membutuhkan 1 triliun won.
Kesimpulannya, dalam situasi saat ini, kemungkinan open innovation di bidang AI dan deep learning sangat kecil. Namun, jika terjadi inovasi hardware seperti GPU atau chip neuromorfik, ceritanya bisa berubah.
1 komentar
Unix vs. Linux
Oracle vs. MySQL
Open source telah mendorong inovasi melalui kolaborasi. Kekuatan open source adalah transparansi dan kolaborasi. Keberhasilan open source seperti Linux dan MySQL adalah hasilnya.
GPT-n vs. Llama ?
Llama memiliki batasan dalam inovasi terbuka.
Untuk menginovasikan model Llama, pra-pelatihan harus dimungkinkan, tetapi saat ini yang bisa dilakukan hanya pascapelatihan. Alasannya, data pelatihan Llama tidak dibuka. Dalam AI dan deep learning, source code adalah dataset pelatihan. Namun, Llama hanya membuka bobot model, sementara data pelatihan, kode pelatihan model, hyperparameter, dan lainnya tidak dibuka. Dengan bobot Llama saat ini, inovasi yang bersifat tuning seperti fine-tuning dan peringanan model memang dimungkinkan, tetapi inovasi pada bobot model yang hanya bisa dicapai melalui pra-pelatihan tidak mungkin dilakukan. Sebab, dalam AI dan deep learning, mengembangkan dataset pelatihan adalah bentuk coding dan debugging. Karena data pelatihan Llama bersifat tertutup, publik tidak punya cara untuk berkolaborasi dan memperbaikinya. Dalam hal ini, sulit menyebut Llama sebagai open source.
Selain itu, komunitas juga kekurangan sumber daya GPU.
Disebutkan bahwa pelatihan Llama menggunakan H100*16k GPU. Hanya GPU-nya saja nilainya melebihi 600 miliar won. Jika memperhitungkan biaya tambahan seperti infrastruktur untuk menjalankannya dan biaya listrik, totalnya akan dengan mudah melampaui 1 triliun won. Ini bukan sesuatu yang bisa dicoba sembarang orang. Agar inovasi bisa terjadi di komunitas open source, tampaknya harus ada klaster GPU publik.
Singkatnya
Agar open innovation dimungkinkan di bidang AI dan deep learning, setidaknya dua hal berikut harus terpenuhi.
Namun, poin pertama tampaknya kecil kemungkinannya karena masalah hak cipta. Dan poin kedua membutuhkan 1 triliun won.
Kesimpulannya, dalam situasi saat ini, kemungkinan open innovation di bidang AI dan deep learning sangat kecil. Namun, jika terjadi inovasi hardware seperti GPU atau chip neuromorfik, ceritanya bisa berubah.