Web LLM - Mulai Mendukung Llama2 7B/13B

• Layanan yang menjalankan LLM seperti Llama, RedPajama, dan Vicuna di browser tanpa server menggunakan WASM
• Mulai mendukung Llama 2 7B/13B
• Llama 2 70B juga didukung, tetapi hanya dapat digunakan pada Mac Apple Silicon + RAM 64GB atau lebih
• Dipercepat dengan WebGPU

[freejack]

• Saya yang tidak terlalu paham AI mencoba mengetesnya karena penasaran, meski PC saya berspesifikasi rendah - model pertama di Chat Demo (spesifikasi PC: AMD Ryzen5 3600, NVIDIA GeForce GTX 750 Ti)
• Untuk pertanyaan pertama, perlu mengunduh sekitar 4 GB dan melakukan inisialisasi; di lingkungan PC saya prosesnya memakan waktu sekitar 11 menit.
• Pada setiap pertanyaan, GPU digunakan rata-rata lebih dari 60%, dan jawabannya keluar seperti sedang mengetik pelan. (Sangat bikin frustrasi --)
• Sebagai uji coba, saya memberi pertanyaan "show me the earth picture", dan memang dijawab dengan URL NASA, tetapi gambarnya tidak bisa dilihat. (Invalid URL)
• Pertanyaan dalam bahasa Korea juga dikenali, tetapi jawabannya hanya diberikan dalam bahasa Inggris.

[cosine20]

Karena pakai 750Ti....

[laeyoung]

Output berupa URL memang sering rusak juga di ChatGPT. Mau bagaimana lagi.

[kuroneko]

Saya sempat sangat takjub melihat Stable Diffusion berjalan di web,
menurut Anda, apakah WebGPU benar-benar bisa mewujudkan penyatuan besar API GPU?

[ragingwind]

Luar biasa ya

[xguru]

Web LLM - Mulai mendukung Llama2 7B/13B