Ollama mendukung output terstruktur

• Ollama kini mendukung fitur output terstruktur (Structured Output) yang menggunakan skema JSON untuk membatasi output model ke format tertentu
• Pustaka Python dan JavaScript telah diperbarui sehingga fitur ini dapat digunakan
• Kasus penggunaan utama output terstruktur
  • Parsing data dari dokumen
  • Mengekstrak data dari gambar
  • Menstrukturkan respons dari semua model bahasa
  • Memberikan keandalan dan konsistensi yang lebih tinggi dibanding mode JSON
• Tips penggunaan
  • Definisikan skema JSON dengan Pydantic (Python) atau Zod (JavaScript)
  • Tambahkan "kembalikan dalam JSON" ke prompt
  • Turunkan pengaturan Temperature ke 0 untuk mendapatkan output yang deterministik
• Rencana ke depan
  • Mendukung kontrol generasi melalui eksposur logit
  • Meningkatkan performa dan akurasi
  • Mendukung format tambahan selain skema JSON
  • Mendukung sampling dengan akselerasi GPU

[curiousotter]

Sebelumnya saya memasukkan JSON schema sebagai bagian dari prompt dan di parameter API hanya memakai format format: json, tetapi sekarang jadi bisa lebih hemat token dan pengaturannya juga lebih praktis ya!