DSPy - Framework untuk memprogram model bahasa (bukan sekadar prompting)

• DSPy (Declarative Self-improving Python) adalah framework yang dirancang untuk mengendalikan model bahasa (LM) melalui pemrograman
• Dari pengklasifikasi sederhana hingga pipeline RAG yang kompleks dan loop agen, framework ini memungkinkan pembangunan sistem AI modular dengan cepat, serta menyediakan algoritme untuk mengoptimalkan prompt dan bobot
• Alih-alih menggunakan prompt tradisional yang tidak stabil, pengguna dapat menulis kode Python yang dapat dikomposisikan untuk membangun sistem AI modular dengan cepat dan melatih LM agar menghasilkan output berkualitas tinggi
• Module digunakan untuk mendeskripsikan perilaku AI dalam bentuk kode, bukan string
  • Untuk membangun sistem AI yang andal, iterasi harus dilakukan dengan cepat
  • Namun, prompt sulit dipelihara karena setiap kali LM, metrik, atau pipeline berubah, string atau data juga harus diubah
  • DSPy dikembangkan untuk memisahkan definisi sistem LM dari pilihan-pilihan rumit yang spesifik terhadap LM atau strategi prompting tertentu
  • Pendekatan pemrograman DSPy
    • DSPy mengalihkan fokus dari penyesuaian string prompt ke pemrograman dengan modul bahasa alami yang terstruktur dan deklaratif
    • Untuk setiap komponen AI dalam sistem, perilaku input/output ditentukan sebagai signature dan module dipilih untuk menetapkan strategi pemanggilan LM
    • DSPy memperluas signature menjadi prompt dan mem-parsing output bertipe, sehingga memudahkan penulisan sistem AI yang mudah digunakan, portabel, dan dapat dioptimalkan
• Optimizer menyesuaikan prompt dan bobot dari modul AI
  • DSPy menyediakan alat untuk mengompilasi kode tingkat tinggi yang dilengkapi anotasi bahasa alami menjadi operasi tingkat rendah, prompt, atau pembaruan bobot
  • Dengan cara ini, LM dapat disejajarkan dengan struktur program dan metriknya
  • Jika kode atau metrik berubah, semuanya dapat dikompilasi ulang dengan mudah agar sesuai
  • Proses optimasi DSPy
    • Jika Anda memiliki beberapa puluh atau beberapa ratus input representatif untuk suatu tugas dan metrik untuk mengukur kualitas output sistem, Anda dapat menggunakan DSPy Optimizer
      • dspy.BootstrapRS mensintesis contoh few-shot yang baik untuk semua modul
      • dspy.MIPROv2 mengusulkan instruksi bahasa alami yang lebih baik untuk semua prompt dan menjelajahinya secara cerdas
      • dspy.BootstrapFinetune membangun dataset untuk modul dan menggunakannya untuk melakukan fine-tuning pada bobot LM sistem
• Ekosistem DSPy mendorong kemajuan riset AI open source
  • Paradigma modular DSPy memberi lebih banyak peneliti peluang untuk meningkatkan arsitektur komposisional program LM, strategi saat inferensi, dan alat optimasi secara terdistribusi, dibandingkan jika hanya berfokus pada model bahasa raksasa
  • Ini memberi pengguna DSPy kontrol yang lebih besar, membantu iterasi berjalan lebih cepat, dan memungkinkan program berkembang seiring waktu dengan menerapkan modul atau alat optimasi terbaru
  • Riset DSPy dimulai di Stanford NLP pada Februari 2022 dan dibangun berdasarkan pelajaran dari pengembangan sistem LM majemuk awal seperti ColBERT-QA, Baleen, dan Hindsight
  • Pertama kali dirilis sebagai DSP pada Desember 2022, lalu berkembang menjadi DSPy pada Oktober 2023, dan berkat 250 kontributor, puluhan ribu orang dapat mempelajari cara membangun serta mengoptimalkan program LM modular
  • Komunitas DSPy telah menghasilkan banyak capaian riset pada alat optimasi seperti MIPROv2, BetterTogether, dan LeReT, serta arsitektur program seperti STORM, IReRa, dan DSPy Assertions
  • Ada juga banyak contoh penerapan yang sukses pada masalah baru, seperti PAPILLON, PATH, studi kasus prompting WangLab@MEDIQA dan UMD, serta program red-teaming dari Haize
  • Selain itu, kepraktisan DSPy juga telah dibuktikan melalui banyak proyek open source, aplikasi produksi, dan berbagai kasus penggunaan lainnya