Show HN: LLM dapat menghasilkan JSON yang valid dalam 100% kasus

• Outlines adalah library untuk generasi teks jaringan saraf, yang dirancang lebih fleksibel untuk menggantikan metode generate dari library transformers.
• Ini membantu pengembang membangun antarmuka yang tangguh sambil menjamin keluaran yang mengikuti ekspresi reguler atau skema JSON.
• Library ini menyediakan elemen dasar prompting yang kokoh dengan memisahkan prompting dan logika eksekusi, sehingga implementasi few-shot generation, ReAct, meta-prompting, agent, dan lainnya dapat dibuat dengan sederhana.
• Outlines dirancang agar kompatibel dengan ekosistem yang lebih luas, menggunakan abstraksi sesedikit mungkin, dan dapat menyisipkan generasi bersama alur kontrol, kondisional, fungsi Python kustom, dan pemanggilan ke library lain.
• Kompatibel dengan semua model, dan menyediakan antarmuka ke model melalui logit token berikutnya. Juga dapat digunakan dengan model berbasis API.
• Library ini memiliki elemen dasar prompting yang sederhana namun kuat berbasis mesin template Jinja, guided generation, guided generation ekspresi reguler yang cepat, generasi JSON cepat yang mengikuti skema JSON atau model Pydantic, serta integrasi dengan model transformers dari HuggingFace.
• Outlines tersedia di PyPi dan dapat diinstal dengan perintah pip install outlines.
• Library ini memungkinkan penghentian generasi lebih awal setelah urutan tertentu ditemukan, mempersempit penyelesaian menjadi pilihan di antara beberapa kemungkinan, atau menginstruksikan model untuk hanya mengembalikan bilangan bulat atau bilangan riil.
• Juga mencakup guided generation ekspresi reguler yang cepat dan generasi JSON efisien yang mengikuti model Pydantic.
• Outlines memisahkan logika prompt dan logika program umum dengan mengenkapsulasi template di dalam "fungsi template", sehingga penulisan dan pengelolaan prompt menjadi lebih mudah.
• Library ini memungkinkan model bahasa memanggil fungsi eksternal untuk mendapatkan informasi tambahan atau menjalankan tugas, dengan deskripsi fungsi dikodekan ke dalam prompt.
• Outlines bersifat open source dan dilisensikan di bawah Apache License 2.0.

[GN⁺]

Komentar Hacker News

• Artikel tentang cara Language Model Libraries (LLMs) dapat menghasilkan JSON yang 100% valid
• LLM menghasilkan distribusi probabilitas untuk setiap token, dan parser JSON menyediakan daftar token valid berikutnya
• Pembahasan tentang gagasan memasking sebagian ruang kosakata dan library yang mengambil langkah waktu secara efisien
• Pertanyaan tentang efektivitas model dasar seperti Llama2 dan apakah penyesuaian instruksi diperlukan untuk kasus penggunaan tertentu
• Pertanyaan tentang keberadaan parameter suhu atau sampling untuk generate.regex
• Penyebutan artikel bahwa GPT4 dapat mengembalikan JSON yang valid dalam sebagian besar kasus dengan memberikan contoh pada pesan sistem
• Mekanisme library ini diapresiasi, dan ada rasa ingin tahu tentang potensi penggunaannya untuk tugas yang memerlukan input terstruktur selain JSON
• Ketertarikan pada potensi library semacam ini dalam perencanaan jalur formal
• Penyebutan artikel bahwa meminta format keluaran yang kompleks dapat menurunkan kinerja tugas dasar, yang terkonfirmasi pada benchmark penyuntingan kode GPT-3.5 dan GPT-4
• Penyebutan artikel bahwa LLama.cpp telah mengimplementasikan sampling berbasis tata bahasa bulan lalu
• Proses memperbarui "mask" bias logit setelah setiap token yang dihasilkan oleh LLM agar token berikutnya dapat menjadi token JSON yang valid