- Apple memperkenalkan OpenELM, model bahasa AI berukuran kecil yang cukup ringan untuk dijalankan langsung di smartphone
- OpenELM adalah singkatan dari "Open-source Efficient Language Models", dan tersedia di Hugging Face dengan lisensi Apple Sample Code License
- Kode sumber telah dibuka, tetapi ada beberapa pembatasan pada lisensinya sehingga mungkin tidak sepenuhnya sesuai dengan definisi "open source" yang umum
Karakteristik model OpenELM
- OpenELM terdiri dari 8 model dengan parameter mulai dari 270 juta hingga 3 miliar
- Riset terbaru berfokus pada pembuatan model bahasa AI kecil yang mampu menyamai model bahasa AI besar dari beberapa tahun lalu
- Model OpenELM tersedia dalam dua jenis: versi pretrained dan versi instruction-tuned
- OpenELM-270M, OpenELM-450M, OpenELM-1_1B, OpenELM-3B
- OpenELM-270M-Instruct, OpenELM-450M-Instruct, OpenELM-1_1B-Instruct, OpenELM-3B-Instruct
Data pelatihan dan performa model OpenELM
- OpenELM memiliki context window hingga 2048 token
- Model ini dilatih dengan sekitar 1,8 triliun token data, termasuk dataset RefinedWeb yang tersedia secara publik, versi PILE yang sudah dihapus duplikasinya, subset dari RedPajama, dan subset dari Dolma v1.6
- Melalui "layer-wise scaling strategy" milik Apple, parameter dialokasikan lebih efisien ke tiap layer untuk menghemat sumber daya komputasi dan meningkatkan performa model
- OpenELM menunjukkan akurasi 2,36% lebih tinggi dibanding OLMo 1B dari Allen AI meskipun hanya menggunakan setengah token pretraining
Materi tambahan yang dirilis dan tujuan Apple
- Apple juga merilis kode untuk library CoreNet yang digunakan dalam pelatihan OpenELM serta recipe pelatihan yang dapat direproduksi
- Sebagai perusahaan teknologi besar, langkah merilis hingga bobot model tergolong tidak biasa dan menekankan transparansi
- Dengan membuka kode sumber, bobot model, dan materi pelatihan, tujuannya adalah "memperkuat dan memperkaya komunitas riset terbuka"
- Namun, karena dilatih dengan dataset publik, Apple memperingatkan bahwa model ini dapat menghasilkan keluaran yang tidak akurat, berbahaya, bias, atau menyinggung
Prospek ke depan
- Apple belum mengintegrasikan kemampuan model bahasa AI baru ini ke perangkat konsumen
- Namun, pembaruan iOS 18 yang diperkirakan akan diumumkan pada WWDC bulan Juni diduga akan mencakup fitur AI baru yang memanfaatkan pemrosesan di perangkat demi menjaga privasi pengguna
- Ada juga kemungkinan Apple bekerja sama dengan Google atau OpenAI untuk meningkatkan Siri demi menangani pemrosesan AI yang lebih kompleks di luar perangkat
2 komentar
Saya penasaran seberapa besar perubahan yang akan dibawa pembaruan iOS 18. Saya juga sangat menantikan M4 yang diperkuat fitur AI!