- AMD mengumumkan model bahasa kecil pertamanya, AMD-135M
- Model ini dilatih menggunakan akselerator AMD Instinct™ MI250 dengan 670 miliar token
- Terdiri dari dua model: AMD-Llama-135M dan AMD-Llama-135M-code
- Model AMD-Llama-135M dilatih selama 6 hari dengan 670 miliar token menggunakan data umum
- Model AMD-Llama-135M-code kemudian di-fine-tune selama 4 hari tambahan dengan 20 miliar token data kode
- Kode pelatihan, dataset, dan bobot model ini disediakan sebagai open source
- Mengoptimalkan performa inferensi dengan Speculative Decoding
- Model bahasa besar biasanya melakukan inferensi dengan pendekatan autoregresif
- Keterbatasan utama pendekatan ini adalah hanya dapat menghasilkan satu token pada setiap forward pass
- Masalah ini diatasi dengan diperkenalkannya speculative decoding
- Sebuah model draft kecil digunakan untuk menghasilkan sekumpulan token kandidat, lalu divalidasi oleh model target yang lebih besar
- Pendekatan ini memungkinkan beberapa token dihasilkan pada setiap forward pass, sehingga secara signifikan mengurangi konsumsi akses memori dan sangat meningkatkan kecepatan
- Percepatan performa inferensi
- Performa inferensi diuji dengan menggunakan AMD-Llama-135M-code sebagai model draft untuk CodeLlama-7b
- Dibandingkan antara penggunaan dan tanpa penggunaan speculative decoding pada akselerator MI250 dan prosesor Ryzen™ AI (termasuk NPU)
- Pada konfigurasi tertentu, terkonfirmasi adanya peningkatan kecepatan saat menggunakan speculative decoding
- Langkah berikutnya
- AMD menyediakan implementasi referensi open source untuk mendorong inovasi di komunitas AI
- Detail lebih lanjut tentang AMD-135M tersedia di blog teknis
- Kode dapat diakses di repositori GitHub AMD
- File model dapat diunduh dari Hugging Face Model Card
- Pengajuan akses ke kartu akselerator Instinct dapat dilakukan melalui AMD Developer Cloud
Ringkasan GN⁺
- Model bahasa kecil pertama AMD, AMD-135M, membawa kemajuan penting bagi komunitas AI
- Performa inferensi ditingkatkan secara signifikan melalui speculative decoding
- Implementasi referensi open source membantu pengembang mereplikasi model dan melatih SLM serta LLM lainnya
- Menargetkan dorongan inovasi di bidang AI serta perkembangan teknologi yang lebih inklusif dan etis
1 komentar
Untuk berkembang menjadi kecerdasan umum buatan, harus ada momentum untuk lompatan yang bersifat dimensional, dan momentum itu adalah pendidikan.