6 poin oleh xguru 2024-08-21 | 1 komentar | Bagikan ke WhatsApp
  • Ollama kini mendukung pemanggilan tool pada model seperti Llama 3.1
  • Hal ini memungkinkan model menjawab prompt yang diberikan dengan menggunakan tool yang diketahuinya, sehingga dapat menjalankan tugas yang lebih kompleks atau berinteraksi dengan dunia luar
    • Tool: fungsi dan API, penelusuran web, interpreter kode
  • Untuk mengaktifkan pemanggilan tool, daftar tool yang tersedia harus diberikan melalui field tools pada API Ollama, dan model yang didukung kini menjawab dengan respons tool_calls. Respons tool dapat diberikan melalui pesan dengan peran tool
  • Model yang didukung: Llama 3.1, Mistral Nemo, Firefunction v2, Command-R +
  • Endpoint kompatibel OpenAI milik Ollama kini juga mendukung tool, dan dapat digunakan dengan beralih ke Llama 3.1 maupun model lainnya
  • Peningkatan di masa mendatang
    • Streaming pemanggilan tool: dukungan streaming untuk pemanggilan tool agar dapat mulai bekerja lebih cepat ketika beberapa tool dikembalikan
    • Pemilihan tool: memungkinkan model dipaksa menggunakan tool tertentu

1 komentar

 
edunga1 2024-08-21

https://id.news.hada.io/topic?id=13436
Mirip fitur seperti phidata, ya? Di sini cukup mendeskripsikan docstring dengan baik, tetapi kalau bukan GPT, ternyata tidak bisa memakai tool.