Ollama v0.1.33 - Dukungan Llama 3 + Phi 3 + Qwen 110B

• Dukungan model baru
  • Llama 3: model baru dari Meta sekaligus LLM terbuka dengan performa terbaik sejauh ini
  • Phi 3 Mini: model terbuka ringan baru dari Microsoft dengan 3,8 miliar parameter
  • Moondream: model vision-language kecil yang dirancang agar berjalan efisien di perangkat edge
  • Dolphin Llama 3: model tanpa sensor yang dilatih oleh Eric Hartford berbasis Llama 3. Mencakup berbagai kemampuan edukasi, percakapan, dan coding
  • Qwen 110B: model berukuran 100B parameter dari Alibaba yang menunjukkan performa unggul dalam evaluasi
• Perbaikan bug
  • Memperbaiki masalah saat model tidak berhenti sehingga API terhenti
  • Memperbaiki error kehabisan memori di Mac Apple Silicon
  • Memperbaiki error kehabisan memori saat menjalankan model arsitektur Mixtral
• Fitur konkurensi eksperimental
  • OLLAMA_NUM_PARALLEL: memproses beberapa permintaan sekaligus untuk satu model
  • OLLAMA_MAX_LOADED_MODELS: memuat beberapa model secara bersamaan
  • Perlu mengatur environment variable
    • OLLAMA_NUM_PARALLEL=4 OLLAMA_MAX_LOADED_MODELS=4 ollama serve

[siabard]

Saya butuh penggunaan multi-model, dan sekarang itu jadi mungkin. ^^=b