- Ollama kini mendukung pemanggilan tool pada model seperti Llama 3.1
- Hal ini memungkinkan model menjawab prompt yang diberikan dengan menggunakan tool yang diketahuinya, sehingga dapat menjalankan tugas yang lebih kompleks atau berinteraksi dengan dunia luar
- Tool: fungsi dan API, penelusuran web, interpreter kode
- Untuk mengaktifkan pemanggilan tool, daftar tool yang tersedia harus diberikan melalui field
tools pada API Ollama, dan model yang didukung kini menjawab dengan respons tool_calls. Respons tool dapat diberikan melalui pesan dengan peran tool
- Model yang didukung: Llama 3.1, Mistral Nemo, Firefunction v2, Command-R +
- Endpoint kompatibel OpenAI milik Ollama kini juga mendukung tool, dan dapat digunakan dengan beralih ke Llama 3.1 maupun model lainnya
- Peningkatan di masa mendatang
- Streaming pemanggilan tool: dukungan streaming untuk pemanggilan tool agar dapat mulai bekerja lebih cepat ketika beberapa tool dikembalikan
- Pemilihan tool: memungkinkan model dipaksa menggunakan tool tertentu
1 komentar
https://id.news.hada.io/topic?id=13436
Mirip fitur seperti phidata, ya? Di sini cukup mendeskripsikan
docstringdengan baik, tetapi kalau bukan GPT, ternyata tidak bisa memakai tool.