llamafile - Men-deploy dan Menjalankan LLM dalam Satu File

• Mendukung menjalankan LLM dengan mudah di sebagian besar komputer tanpa instalasi, hanya dengan 1 file
• Framework yang menggabungkan llama.cpp dan Cosmopolitan Libc
  • Satu build dapat dijalankan di berbagai OS dan beragam arsitektur CPU
• Menyediakan model LLaVA yang mendukung chat dan pengenalan gambar sebagai contoh
  • Cukup unduh dan jalankan file 4GB llava-v1.5-7b-q4-server.llamafile
  • Untuk Mac/Linux/BSD, jalankan chmod +x lalu eksekusi langsung
  • Untuk Windows, tambahkan .exe setelah ekstensi lalu jalankan langsung
  • Saat dijalankan, browser akan terbuka otomatis dan menampilkan antarmuka chat
• Juga menyediakan llamafile lain seperti Mistral-7B-Instruct dan WizardCoder-Python-13B

[edunga1]

curl --location https://huggingface.co/jartine/llava-v1.5-7B-GGUF/… > llamafile

Saya sangat terkejut karena cukup dengan satu perintah curl, ini bisa langsung dijalankan..

[cosine20]

Wah, gila banget wkwkwk

[ragingwind]

Ternyata memang bisa dijalankan dengan sangat mudah.

[xguru]

Sudah pernah naik di GN⁺, tetapi mungkin karena pengantar dari ringkasan AI kurang memadai, topik ini kurang populer, jadi saya rangkum sekali lagi. Menurut saya ini percobaan yang cukup menarik.
Melalui "Llamafile", LLM dapat didistribusikan dan dijalankan sebagai satu file tunggal

Model dasarnya adalah LLaVA: Visual Instruction Tuning

Saat pertama kali diumumkan terasa seperti proyek iseng, tetapi ternyata Cosmopolitan dan Redbean juga bisa dipakai seperti ini. Sepertinya ini akan menjadi kasus penggunaan yang sangat bagus.

• Cosmopolitan v3.0 - "Build Once Anywhere, Run Anywhere C/C++"
• Cosmopolitan libc - Build-Once Run-Anywhere C
• Perilisan Cosmopolitan v1.0
• Rilis Cosmopolitan v2.0
• Redbean - server web yang berjalan dari satu file
• Pengumuman Redbean 2.0