Intel merilis pustaka akselerasi NPU

Intel® NPU Acceleration Library: meningkatkan performa AI dengan unit pemrosesan neural Intel

• Intel NPU Acceleration Library adalah pustaka Python yang memanfaatkan daya dari Intel Neural Processing Unit (NPU) untuk meningkatkan efisiensi aplikasi kecerdasan buatan. Pustaka ini mengoptimalkan beban kerja AI dengan mengarahkan komputasi dan aliran data secara efisien demi performa dan efisiensi daya yang optimal, memaksimalkan pemanfaatan komputasi, serta meminimalkan transfer data.

• Pustaka ini dirancang untuk prosesor Intel Core Ultra, yang mengintegrasikan NPU dengan akselerasi komputasi dan kemampuan transfer data. Fitur utamanya mencakup neural computing engine untuk operasi AI, streaming hybrid architecture vector engine untuk tugas komputasi umum, dan DMA engine untuk transfer data yang efisien.

• Fitur utama untuk pengembangan mencakup kuantisasi 8-bit dan 4-bit, inferensi mixed precision native NPU, dukungan Float16 dan BFloat16, dukungan berkas torch.com, implementasi horizontal fusion LLM MLP, inferensi bentuk statis, inferensi MHA NPU, dan komputasi heterogen NPU/GPU.

• Untuk menggunakan pustaka ini, pastikan sistem memiliki NPU yang tersedia lalu instal paket melalui pip. Pustaka ini kompatibel dengan sistem Windows dan Linux, tetapi MacOS belum didukung. Untuk performa terbaik, perbarui driver NPU ke versi terbaru.

• Pustaka ini menyediakan contoh implementasi dan mendukung berkas torch.com untuk mengoptimalkan model PyTorch pada NPU. Selain itu, pustaka ini juga menyediakan fungsionalitas eksplisit saat menggunakan versi PyTorch di bawah 2.0.0 atau ketika mengompilasi model di lingkungan Windows.

[kuroneko]

Menarik untuk melihat seberapa jauh komputasi AI bisa dilakukan hanya dengan NPU, bahkan tanpa kartu grafis eksternal.