- Llama.ttf adalah sebuah file font sekaligus model bahasa besar (LLM) dan mesin inferensi untuk model tersebut
- Harfbuzz, mesin shaping font yang digunakan di Firefox/Chrome, memungkinkan teks untuk di-"shape" dengan kode arbitrer melalui Wasm shaper
- Kode "arbitrer" ini dapat berupa seluruh mesin inferensi LLM lengkap dengan parameter terlatihnya, misalnya untuk menginisialisasi LLM dan menggunakannya dalam pembuatan teks
- Karena yang digunakan di sini adalah LLM bernama Llama, maka diberi nama llama.ttf
- Artinya, pada aplikasi berbasis Harfbuzz dengan Wasm yang diaktifkan, font ini dapat digunakan untuk menjalankan LLM dan melakukan pembuatan teks
- Semua berjalan secara lokal, jadi tidak perlu menunggu vendor mengimplementasikan fitur seperti "Copilot"
- Dengan font ini, Anda bahkan bisa mengobrol dengan font
- Cara penggunaan:
- Unduh file
llama.ttf dan gunakan seperti font lainnya
- Build Harfbuzz dengan
Dwasm=enabled, build wasm-micro-runtime, lalu tambahkan shared library hasilnya ke variabel lingkungan LD_PRELOAD, kemudian jalankan aplikasi berbasis Harfbuzz seperti gedit atau GIMP
- Juga diperkenalkan beberapa eksperimen menarik lain yang memanfaatkan font dan LLM
Pendapat GN⁺
- llama.ttf adalah pendekatan inovatif untuk menjalankan LLM melalui file font.
- Karena berjalan secara lokal, pendekatan ini unggul dari sisi privasi dan performa.
- Namun, pemahaman tentang Harfbuzz dan Wasm tetap diperlukan, sehingga bisa agak sulit bagi engineer pemula.
2 komentar
Di bagian utama, di bawah subjudul Why? tidak ada apa pun yang tertulis 🤣
Komentar Hacker News