12-Factor Agents: Pola Aplikasi LLM yang Andal

• 12 Factor Agents menyajikan prinsip-prinsip untuk membangun aplikasi LLM yang andal
• Berdasarkan pengalaman menggunakan framework agen AI, ditemukan bahwa sebagian besar produk bukanlah agen yang sesungguhnya
• 12 Factor Agents mengeksplorasi cara membuat perangkat lunak berbasis LLM mencapai kualitas yang cukup baik untuk disajikan kepada pelanggan
• 12 faktor mencakup teknik-teknik inti untuk meningkatkan keandalan, skalabilitas, dan kemudahan pemeliharaan perangkat lunak LLM
• Mengintegrasikan konsep modular ke produk yang sudah ada merupakan cara untuk menghadirkan perangkat lunak AI berkualitas tinggi dengan cepat

---

12 Factor Agents - Prinsip Membangun Aplikasi LLM yang Andal

• Berdasarkan pengalaman menggunakan framework agen AI, ditemukan bahwa sebagian besar produk bukanlah agen yang sesungguhnya
• 12 Factor Agents mengeksplorasi cara membuat perangkat lunak berbasis LLM mencapai kualitas yang cukup baik untuk disajikan kepada pelanggan
• 12 faktor mencakup teknik-teknik inti untuk meningkatkan keandalan, skalabilitas, dan kemudahan pemeliharaan perangkat lunak LLM
• Mengintegrasikan konsep modular ke produk yang sudah ada merupakan cara untuk menghadirkan perangkat lunak AI berkualitas tinggi dengan cepat

Ringkasan: 12 Faktor

• Mengubah bahasa alami menjadi pemanggilan alat: Memahami cara menggunakan bahasa alami untuk memanggil alat
• Memiliki prompt: Penting untuk memiliki dan mengelola prompt
• Memiliki context window: Penting untuk memiliki dan mengelola context window
• Alat adalah output terstruktur: Alat harus diperlakukan sebagai output terstruktur
• Mengintegrasikan status eksekusi dan status bisnis: Mengelola status eksekusi dan status bisnis secara terpadu

Janji agen

• DAG (Directed Acyclic Graph): Perangkat lunak dapat direpresentasikan sebagai graf terarah, dan orkestrator DAG sempat populer
• Janji agen: Dengan menggunakan agen, kita dapat meninggalkan DAG dan membiarkan LLM menentukan jalur secara real-time
• Agen bekerja dalam loop: Agen bekerja dalam loop di mana LLM menentukan langkah berikutnya, mengeksekusi pemanggilan alat, dan menambahkan hasilnya ke context window

Mengapa 12-factor agents?

• Keterbatasan framework yang ada: Banyak pembuat SaaS mencoba membangun agen, tetapi karena keterbatasan framework yang ada, sulit mencapai kualitas di atas 80%
• Pentingnya konsep modular: Mengintegrasikan konsep modular ke produk yang sudah ada merupakan cara untuk menghadirkan perangkat lunak AI berkualitas tinggi dengan cepat

Pola desain untuk aplikasi LLM yang hebat

• Elemen inti agen: Ada elemen inti yang membuat agen menjadi hebat, dan dengan menggunakan framework, sebagian besar elemen tersebut bisa didapatkan
• Integrasi konsep modular: Mengintegrasikan konsep modular ke produk yang sudah ada merupakan cara untuk menghadirkan perangkat lunak AI berkualitas tinggi dengan cepat

Sumber daya terkait

• Podcast Tool Use: Membahas topik terkait dalam episode Maret 2025
• The Outer Loop: Blog yang membahas topik terkait
• Webinar: Menyelenggarakan webinar tentang memaksimalkan performa LLM bersama @hellovai
• Agen open source: Membangun agen OSS menggunakan metodologi ini

[GN⁺]

Opini Hacker News

• Wiki yang sangat bermanfaat. Terima kasih, pasti akan saya gunakan. Saya baru saja membuat "AI Agents framework" yang dirilis kemarin. Framework ini berbasis model actor, state machine, dan aspect-oriented programming. Saya terutama suka poin 5 dan 7

  • menyatukan status eksekusi dan status bisnis
  • memiliki alur kontrolnya sendiri
  • SecAI melakukan ini dengan baik, sebagai library alur kontrol berbasis graf dengan pemanggilan LLM yang tertanam di node-node graf. Alurnya diperkuat oleh negosiasi, pembatalan, dan relasi status sehingga terasa lebih organik
  • yang sering terlewat di framework lain adalah developer tools khusus. Memprogram kegagalan, memeriksa setiap langkah secara mendetail, serta menyediakan ekspor data otomatis dan integrasi yang sederhana
  • kami telah merilis demo teknis pertama beserta implementasi referensi yang menampilkan semua developer tools
  • tombol Send/Stop memungkinkan mulai/jeda/lanjut lewat API yang sederhana. Ini dapat diskalakan dengan transparansi jaringan

• Bagus sekali. Setelah mengerjakan ini selama beberapa tahun, saya membuat daftar pelajaran saya sendiri. Yang paling penting adalah memiliki loop perencanaan level terendah

  • perencanaan dinamis tidak masalah, tetapi Anda harus memiliki loop OODA dan heuristik untuk menentukan apakah ia sedang menuju solusi
  • Anda harus membangun workflow engine, dan membiarkan model menyusun spesifikasi workflow yang dijalankan di engine tersebut

• Syukurlah materi ini keluar pada saat ini. Terima kasih

  • saya sedang membayangkan sandbox audiovisual seperti vvvv. Idenya adalah menyisipkan node LM atau jaringan saraf lokal sederhana untuk melakukan tugas tertentu, dan membuat output-nya sangat terbatas
  • alur dari pertanyaan ke jawaban sangat menarik. Pipeline multi-tahap juga sangat menarik

• Saya penasaran bagaimana library seperti DSPY cocok dengan factor-2

  • saya melihat contoh penggunaan BAML untuk menghasilkan prompt. Menulis prompt secara manual untuk mengekstrak informasi terstruktur dari data tidak terstruktur bukan hal yang mudah
  • saya ingin tahu pendapatnya tentang penggunaan prompt mentah DSPY

• Ini tulisan blog lama, tetapi isi tentang pola framework ini terasa relevan sepanjang karier saya. LLM lebih baik digunakan sebagai library daripada framework

  • framework lebih menarik dan lebih mudah dijual, serta mengarah pada efek lock-in dan layanan tambahan

• Bagus sekali. 80% saya pelajari dengan susah payah, dan 20% sisanya akan menjadi bacaan yang berharga

  • saya berhasil dengan LangGraph dan skema pydantic. Saya penasaran apa yang menurut orang lain berguna

• Satu hal lagi: biaya harus direncanakan saat melakukan scaling

  • scaling bisa menjadi mahal, jadi apa pun yang bisa ditangani dengan komponen deterministik sebaiknya dicoba terlebih dahulu. Ini bisa mengurangi halusinasi dan latensi, serta membuat perbedaan besar pada penghematan biaya

• Agar prinsip-prinsip ini lebih mudah diikuti, dibutuhkan narasi yang konsisten. Menggunakan contoh dunia nyata akan bagus

• Senang sekali ini masuk halaman depan HN

• Keren sekali melihat BAML ada di sini. Saya 100% setuju bahwa LLM harus diperlakukan sebagai fungsi