Gemma — model terbuka mutakhir dari Google

• Google meyakini pembuatan AI yang bermanfaat untuk semua orang, dan telah berkontribusi menghadirkan inovasi bagi komunitas terbuka melalui hal-hal seperti Transformers, TensorFlow, BERT, T5, JAX, AlphaFold, dan AlphaCode
• Gemma adalah keluarga model terbuka ringan yang mutakhir, dibuat berdasarkan riset dan teknologi yang sama yang digunakan untuk membangun model Gemini
  • Dikembangkan oleh Google DeepMind dan tim lainnya, serta terinspirasi dari 'gemma', yang dalam bahasa Latin berarti 'permata'
• Mulai hari ini tersedia secara global, bersama bobot model, alat untuk mendukung inovasi pengembang, mendorong kolaborasi, dan memandu penggunaan model Gemma secara bertanggung jawab
• Dengan berbagi komponen teknologi dan infrastruktur dengan Gemini, Gemma 2B dan 7B mencapai performa terbaik di kelasnya dibanding ukuran model saat dibandingkan dengan model terbuka lain
• Dapat dijalankan langsung di laptop atau komputer desktop pengembang, serta mematuhi standar ketat untuk memberikan keluaran yang aman dan bertanggung jawab sambil melampaui model yang jauh lebih besar pada benchmark utama
• Menyediakan toolchain untuk inferensi dan SFT (supervised fine-tuning) di semua framework utama seperti JAX, PyTorch, dan TensorFlow melalui Native Keras 3.0
• Mudah memulai Gemma melalui integrasi dengan notebook Colab dan Kaggle serta alat populer seperti Hugging Face, MaxText, NVIDIA NeMo, dan TensorRT-LLM
• Model Gemma yang telah dipra-latih dan di-tuning untuk instruksi dapat dengan mudah di-deploy ke Vertex AI dan Google Kubernetes Engine (GKE) untuk dijalankan di notebook, workstation, atau Google Cloud
• Menjamin performa kelas industri terbaik melalui optimasi untuk berbagai platform hardware AI, termasuk NVIDIA GPU dan Google Cloud TPU
• Mengizinkan penggunaan dan distribusi komersial bagi semua organisasi, apa pun skalanya, sesuai ketentuan penggunaan

Dirancang secara bertanggung jawab

• Gemma dirancang dengan prinsip AI sebagai prioritas utama, serta menggunakan teknik otomatis untuk menyaring informasi pribadi dan data sensitif lainnya dari set pelatihan
• Selain itu, secara luas menggunakan reinforcement learning from human feedback (RLHF) untuk model yang di-tuning dengan instruksi agar selaras dengan perilaku yang bertanggung jawab
• Dilakukan evaluasi yang kuat untuk memahami dan mengurangi profil risiko model Gemma, termasuk red teaming manual, pengujian adversarial otomatis, dan evaluasi kemampuan model terhadap aktivitas berbahaya

Dioptimalkan di berbagai framework, alat, dan hardware

• Model Gemma dapat di-fine-tune pada data Anda sendiri agar sesuai dengan kebutuhan aplikasi tertentu, serta mendukung beragam alat dan sistem
• Alat multi-framework: tersedia framework pilihan seperti Keras 3.0, PyTorch native, JAX, dan Hugging Face Transformers. Menyediakan implementasi referensi
• Kompatibilitas lintas perangkat: dapat dijalankan di perangkat populer termasuk laptop, desktop, IoT, mobile, dan cloud
• Platform hardware mutakhir: melalui kemitraan dengan NVIDIA, optimasi untuk NVIDIA GPU dari data center hingga cloud dan RTX AI PC lokal menjamin performa terbaik di industri serta integrasi dengan teknologi mutakhir
• Optimasi di Google Cloud: menggunakan Vertex AI untuk menyediakan rangkaian alat MLOps yang luas dan berbagai opsi tuning, serta memungkinkan deployment sekali klik dengan optimasi inferensi bawaan

Kredit gratis untuk riset dan pengembangan

• Gemma dibangun untuk komunitas pengembang dan peneliti yang mendorong inovasi AI, dan Anda dapat mulai bekerja mulai hari ini dengan akses gratis di Kaggle, tier gratis notebook Colab, serta kredit $300 bagi pengguna pertama Google Cloud
• Peneliti dapat mengajukan hingga $500,000 kredit Google Cloud untuk mempercepat proyek mereka

[dodok8]

Sekarang situasinya jadi hanya OpenAI yang tertutup.

[xguru]

Komentar Hacker News

• Hal yang patut diperhatikan dalam ketentuan penggunaan Gemma milik Google adalah adanya klausul bahwa pengguna harus berupaya secara wajar untuk menggunakan versi terbaru Gemma. Ini bisa meniadakan salah satu keuntungan besar dari menjalankan model sendiri, yaitu terlindung dari risiko prompt yang sudah diuji dengan cermat rusak akibat pembaruan model, sehingga saya terutama tidak puas dengan klausul tersebut.
• Hasil benchmark Gemma 7B tampak berada di tingkat yang mirip dengan Mistral 7B. Pada pengujian seperti MMLU, HellaSwag, dan HumanEval, performa Gemma 7B terlihat kompetitif dibandingkan Mistral 7B.
• Model Gemma memiliki beberapa keunikan:
  • feedforward hidden size sebesar 16 kali d_model, berbeda dari kebanyakan model yang hanya 4 kali.
  • Ukuran kosakatanya 256K, 10 kali lebih besar dibandingkan 32K milik Mistral.
  • Jumlah token pelatihannya 6T, 3 kali lebih banyak dibandingkan 2T pada Llama2.
  • Selain itu, model ini menggunakan variasi transformer klasik seperti MQA, RoPE, dan RMSNorm.
  • Ada pertanyaan tentang berapa besar ukuran batch yang memungkinkan model ini dilatih dengan cepat.
• Muncul pertanyaan apakah model ini bisa didapatkan tanpa "alignment" (yang tampaknya berarti fine-tuning ideologis). Disebutkan bahwa jawaban dari model Gemini sering kali menjadi tidak berguna karena fine-tuning ideologis.
• Pendapat pribadi bahwa model Google tidak bisa dipercaya. Saat ditanya tentang zaman Heian di Jepang, model tersebut memberikan informasi yang sama sekali tidak masuk akal, dan kesalahannya begitu jelas hingga terasa seperti lelucon atau parodi. Disebutkan bahwa model Llama menunjukkan performa yang jauh lebih baik.
• Ada pendapat positif bahwa tim Gemma ikut berpartisipasi di bagian komentar dan menjawab pertanyaan, yang patut diapresiasi.
• Model Gemma memberikan informasi yang salah tentang struktur buatan tertinggi di dunia, negara terkaya di dunia, dan jumlah sentimeter per kaki. Kesalahan-kesalahan ini menimbulkan pertanyaan tentang akurasi model.
• Model Gemma-7B tercantum di leaderboard Vectara HHEM, mencatat tingkat jawaban 100% dan tingkat halusinasi 7,5%. Ini adalah performa yang cukup bagus untuk model dengan 7B parameter.
• Menyebut benchmark Gemma sebagai sesuatu yang mengesankan, dan bahkan model 2B pun terlihat cukup bagus. Ada antusiasme untuk menghabiskan akhir pekan mengeksplorasi model ini.
• Disebutkan bahwa jika 5 tahun lalu ditanya siapa di antara OpenAI, Meta, dan Google yang akan paling terbuka soal AI, kebanyakan orang mungkin akan memilih OpenAI. Namun, saat ini justru perusahaan bernilai triliunan dolar seperti Meta dan Google yang merilis model terbuka kuat yang bisa digunakan secara komersial, dan itu dinilai ironis.