11 poin oleh GN⁺ 2024-06-24 | 2 komentar | Bagikan ke WhatsApp
  • Llama.ttf adalah sebuah file font sekaligus model bahasa besar (LLM) dan mesin inferensi untuk model tersebut
  • Harfbuzz, mesin shaping font yang digunakan di Firefox/Chrome, memungkinkan teks untuk di-"shape" dengan kode arbitrer melalui Wasm shaper
    • Kode "arbitrer" ini dapat berupa seluruh mesin inferensi LLM lengkap dengan parameter terlatihnya, misalnya untuk menginisialisasi LLM dan menggunakannya dalam pembuatan teks
    • Karena yang digunakan di sini adalah LLM bernama Llama, maka diberi nama llama.ttf
  • Artinya, pada aplikasi berbasis Harfbuzz dengan Wasm yang diaktifkan, font ini dapat digunakan untuk menjalankan LLM dan melakukan pembuatan teks
    • Semua berjalan secara lokal, jadi tidak perlu menunggu vendor mengimplementasikan fitur seperti "Copilot"
    • Dengan font ini, Anda bahkan bisa mengobrol dengan font
  • Cara penggunaan:
    • Unduh file llama.ttf dan gunakan seperti font lainnya
    • Build Harfbuzz dengan Dwasm=enabled, build wasm-micro-runtime, lalu tambahkan shared library hasilnya ke variabel lingkungan LD_PRELOAD, kemudian jalankan aplikasi berbasis Harfbuzz seperti gedit atau GIMP
  • Juga diperkenalkan beberapa eksperimen menarik lain yang memanfaatkan font dan LLM

Pendapat GN⁺

  • llama.ttf adalah pendekatan inovatif untuk menjalankan LLM melalui file font.
  • Karena berjalan secara lokal, pendekatan ini unggul dari sisi privasi dan performa.
  • Namun, pemahaman tentang Harfbuzz dan Wasm tetap diperlukan, sehingga bisa agak sulit bagi engineer pemula.

2 komentar

 
qyurila 2024-06-25

Di bagian utama, di bawah subjudul Why? tidak ada apa pun yang tertulis 🤣

 
GN⁺ 2024-06-24
Komentar Hacker News
  • Ada pendapat bahwa akan menyenangkan jika ada program TV mingguan yang menyajikan konten aneh dan lucu.
  • Perkenalan proyek yang memungkinkan orang mengobrol atau menulis dengan memasukkan LLM dan mesin penalaran ke dalam font, seperti halnya Tetris dibuat menjadi font.
  • Proyek ini keren, tetapi ada yang menyoroti ukuran file TTF sebesar 280GB dan masalah kompatibilitas dengan font lain.
  • Membagikan tautan ke situs web yang menanamkan game di dalam font.
  • Penjelasan bahwa mesin Harfbuzz menyediakan kemampuan untuk "membentuk" teks menggunakan Wasm shaper.
  • Pemberitahuan bahwa pekerjaan tersebut telah disimpan ke arsip beserta ucapan terima kasih.
  • Ada harapan agar demo bisa dilakukan dengan mudah dengan membangun Harfbuzz dan wasm-micro-runtime lalu menambahkannya ke variabel lingkungan LD_PRELOAD.
  • Kekaguman karena tidak pernah membayangkan masa depan di mana PDF bisa diajak bercakap-cakap.
  • Ada pendapat bahwa ini adalah hal paling keren yang dilihat minggu ini.
  • Pertanyaan tentang mengapa font selalu menghasilkan string yang sama, dan bukankah LLM seharusnya menghasilkan "penalaran" baru.
  • Ada pendapat yang penasaran apakah font bisa memiliki kemampuan untuk secara otomatis menghasilkan gaya teks.