Llama2.c: Kode inferensi Llama 2 yang ditulis dalam C murni

 (github.com/karpathy)
13 poin oleh ninebow 2023-07-24 | 1 komentar | Bagikan ke WhatsApp
  • Tulisan ini adalah penjelasan yang dibuat secara otomatis menggunakan GPT-4, sehingga mungkin mengandung kekeliruan. :smile:
  • Jika Anda menemukan informasi yang keliru, mohon beri tahu melalui komentar! :bowing_man:

Perkenalan

Llama2.c adalah implementasi inferensi Llama 2 dalam C murni yang dikembangkan oleh Andrej Karpathy. Proyek ini merupakan pustaka ringan untuk inferensi model machine learning, ditulis dalam bahasa C sehingga dapat digunakan di berbagai platform. Pustaka ini dirancang khusus agar berjalan cepat di CPU, terutama untuk model-model kecil.

Ringkasan

Pustaka ini adalah pustaka ringan untuk inferensi model machine learning, ditulis dalam bahasa C sehingga dapat digunakan di berbagai platform. Pustaka ini dirancang khusus agar berjalan cepat di CPU, terutama untuk model-model kecil. Pustaka ini dirancang khusus agar berjalan cepat di CPU, terutama untuk model-model kecil.

Proyek ini menyediakan berbagai opsi optimasi, sehingga pengguna dapat menjalankan kode lebih cepat sesuai sistemnya. Misalnya, dapat digunakan opsi kompilasi seperti -O3, -Ofast, -ffast-math, -funsafe-math-optimizations, -march=native. Opsi-opsi ini mencakup optimasi seperti vektorisasi, loop unrolling, prediksi percabangan, dan beberapa di antaranya bahkan dapat melanggar spesifikasi C/IEEE.

Proyek ini masih dalam pengembangan dan masih ada beberapa masalah yang perlu diselesaikan. Misalnya, alasan adanya spasi di depan saat menjalankan ./run pada kode sampling C, dukungan multi-query untuk model-model kecil, serta dukungan inferensi yang melampaui panjang urutan maksimum.

Referensi

  1. Opsi optimasi GCC: Anda dapat mempelajari berbagai opsi optimasi GCC secara lebih rinci.
  2. Floating point math di GCC: Anda dapat memperoleh informasi lebih rinci tentang opsi -ffast-math dan -funsafe-math-optimizations.
  3. GitHub Andrej Karpathy: Anda dapat melihat proyek-proyek lain dari Andrej Karpathy.
  4. Lisensi Llama2.c: Anda dapat melihat lisensi MIT untuk proyek ini.
  5. Daftar kontributor Llama2.c: Anda dapat melihat orang-orang yang berkontribusi pada proyek ini.

Sumber

https://github.com/karpathy/llama2.c

Bacaan terkait