ExecuTorch Alpha: Memberdayakan Deployment AI dan Model Bahasa Besar di Edge melalui Kolaborasi Komunitas

• PyTorch memperkenalkan ExecuTorch Alpha, yang berfokus pada deployment model bahasa besar (LLM) dan model ML besar ke perangkat edge, menstabilkan API, serta memperkuat proses instalasi.

• ExecuTorch Alpha menyediakan dukungan untuk Llama 2 milik Meta dan dukungan awal untuk Llama 3, sehingga LLM ini dapat dijalankan secara efisien di perangkat edge seperti iPhone, ponsel Samsung Galaxy, dan lainnya.

• Untuk mengoptimalkan performa pada perangkat edge yang terbatas, ExecuTorch Alpha menggunakan teknik kuantisasi serta memanfaatkan dukungan bentuk dinamis dari XNNPack dan dtype baru untuk dukungan luas pada perangkat CPU.

• ExecuTorch SDK menyediakan alat debugging dan profiling yang ditingkatkan, sehingga pengembang dapat memetakan kembali node operator ke kode sumber Python asli untuk penyelesaian masalah yang efisien dan tuning performa.

• Kolaborasi dengan mitra seperti Arm, Apple, Qualcomm Technologies, Google, Unity, dan Meta memainkan peran penting dalam memajukan ExecuTorch, yang telah digunakan Meta untuk hand tracking dan berbagai model di perangkat.