- Di industri perangkat lunak, belakangan ini konsep 'Software Factory' semakin mendapat perhatian besar. Ini adalah paradigma baru di mana agen AI yang secara mandiri menjalankan berbagai tahap pekerjaan sesuai tujuan yang diberikan bertanggung jawab penuh menulis kode sumber, sementara pengembang berfokus membangun dan memajukan sistem, yaitu 'pabrik', yang mampu memproduksi kode tersebut secara stabil.
- Dru Knox dari Tessl, perusahaan alat pengembangan AI, menamai disiplin pengembangan baru ini sebagai Harness Engineering.
- Harness berarti keseluruhan kerangka kerja yang mengendalikan dan mengoperasikan agen AI seperti kekang yang dipasang pada kuda, dan di inti kerangka ini terdapat tiga loop (lingkaran siklus yang mengulang prosedur yang sama).
- Yang dibahas video: apa itu software factory dan tiga metrik yang mendefinisikannya / alasan Tessl melarang sesi coding interaktif di internal dan apa yang terjadi setelahnya / tiga lapisan berupa inner, outer, dan meta loop / alasan harness engineering sulit / bagaimana Change Review dan Verifier milik Tessl mengimplementasikannya dalam praktik
- Video: https://www.youtube.com/watch?v=D_cw-k0F1DM&t=236
Jika struktur yang sama diterapkan pada produksi pengetahuan
- Knowledge factory adalah sistem di mana agen AI menulis halaman wiki, dan manusia merancang serta mengoperasikan 'sistem redaksi' yang memproduksinya secara massal. Operator tidak menulis artikel secara langsung, melainkan mengelola pedoman penulisan dan mekanisme peninjauan otomatis.
- Organisasi internal pabrik ini mencontoh sistem lima peran di ruang redaksi surat kabar: reporter, kolumnis, copy editor, desk, dan pemimpin redaksi.
- Intinya di sini adalah bahwa kelima peran itu tidak semuanya merupakan 'AI yang menilai'. 'Copy editor' bukan AI melainkan kode Python berbasis aturan, dan 'pemimpin redaksi' adalah koordinator yang membagi pekerjaan. Satu-satunya posisi tempat AI membuat penilaian evaluatif secara mandiri adalah 'desk'.
- Desain pabrik yang efisien bukan berarti menambah jumlah agen tanpa arah, melainkan mendefinisikan dengan jelas di mana area penilaian ditempatkan dan dari mana area itu dikecualikan.
Tiga sumbu kematangan, dan kepercayaan
- Kematangan sistem diukur dengan tiga sumbu: otonomi (penyelesaian halaman tanpa campur tangan manusia), otomatisasi (cakupan penerbitan yang diizinkan tanpa peninjauan manusia), dan kualitas (tingkat mutu pengetahuan yang dihasilkan).
- Meski otonominya tinggi, jika operator masih cemas dan memeriksa semua halaman satu per satu, tingkat otomatisasinya tetap rendah. Elemen kunci yang menutup kesenjangan ini adalah 'kepercayaan'.
- Otonomi diamankan terlebih dahulu, lalu area otomatisasi diperluas sejauh kepercayaan telah terakumulasi, sambil menjaga tingkat kualitas tetap konsisten dalam prosesnya. Dan mekanisme yang menjamin kepercayaan ini adalah 'loop'.
1. Inner Loop — pemeriksaan mandiri secara real-time
- Inner loop adalah prosedur verifikasi yang cepat dan ringan yang dijalankan agen berulang kali selama proses penulisan sebelum menyerahkan draf. Semakin canggih loop ini, semakin mampu agen AI memperbaiki kesalahan sendiri tanpa campur tangan manusia, dan pada akhirnya otonomi pun meningkat.
- Saat menulis, agen hanya memeriksa dokumen yang dibuatnya sendiri dengan alat inspeksi Python (
tools/lint.py), dan jika kesalahan yang sama berulang dua kali atau lebih, pekerjaan segera dialihkan ke tahap berikutnya agar kecepatan proses tetap terjaga.
2. Outer Loop — gerbang ganda tepat sebelum penerbitan
- Gerbang pertama adalah copy editing. Kode Python melakukan pemeriksaan statis terhadap 10 area seperti tautan, kutipan, struktur dokumen, dan konflik data berdasarkan aturan deterministik.
- Gerbang kedua adalah desk. Dari perspektif pembaca pihak ketiga, desk melakukan evaluasi kualitatif berdasarkan 6 sudut pandang seperti bias, kepadatan informasi, keterbacaan, dan alur argumen, lalu tidak memperbaiki langsung, melainkan hanya mengembalikan daftar poin yang perlu ditingkatkan.
- Ini sama dengan struktur dua tahap Verifier (gerbang pertama) dan Change Review (gerbang kedua) dalam software factory.
- Ada satu prinsip desain yang menentukan di sini. Desk hanya menerima naskah yang sudah selesai dan kriteria evaluasi, tanpa menerima niat penulisan dari penulisnya. Jika seseorang meninjau tulisannya sendiri dalam konteks yang sama, penilaiannya cenderung lebih lunak, sehingga informasi itu sengaja diblokir untuk mencegah bias tersebut.
- Diferensiasi nyata sistem ini bukan pada berapa banyak agen yang dijalankan, melainkan pada isolasi konteks seperti ini. Jika ditolak tiga kali karena alasan yang sama, proses otomatis dihentikan dan penilaian diserahkan kepada operator manusia.
3. Meta Loop — mekanisme perbaikan diri
- Sistem ini mengikuti prinsip, "jangan biarkan kesalahan yang sama terulang dua kali. Kesalahan yang ditemukan harus diangkat menjadi aturan sistem."
- Jika cacat yang sama terus muncul, sistem otomatis mengusulkan revisi pedoman penulisan. Usulan revisi itu kemudian melalui evaluasi perbandingan buta, di mana disembunyikan mana tulisan yang dibuat dengan aturan yang telah diubah, serta pengujian kasus kegagalan baru yang belum pernah dipakai sama sekali untuk verifikasi.
- Hanya jika skor benar-benar meningkat, dan hanya setelah mendapat persetujuan akhir dari operator manusia, perubahan itu diterapkan ke sistem.
- Poin-poin koreksi yang berulang diangkat menjadi hook Python atau aturan copy editing agar menetap sebagai kode. Dengan memindahkan area penilaian kualitatif ke area pemeriksaan berbasis aturan, desk dapat terus fokus pada masalah tingkat tinggi.
4. Reground Loop — loop keempat yang hanya dibutuhkan pengetahuan
- Kode perangkat lunak, setelah dibangun dan dirilis, akan tetap stabil sampai spesifikasinya berubah, tetapi aset pengetahuan menua karena seiring waktu jaraknya dengan fakta dunia nyata makin melebar.
- Untuk mengatasi ini, Reground loop—yakni mengumpanbalikkan dokumen yang sudah diterbitkan menjadi input ke pabrik produksi pengetahuan—ditambahkan sebagai loop keempat.
- Update: ketika terjadi perubahan pada sumber data asli. Halaman usang yang diidentifikasi alat inspeksi akan dianalisis ulang dan diperbarui oleh kolumnis. (liputan lanjutan)
- Follow-up: ketika ada kalimat dalam dokumen yang menyebut 'perlu verifikasi lanjutan' atau kondisi yang memiliki batas waktu. Saat tenggat tiba, desk dan operator akan melakukan verifikasi ulang. (liputan tindak lanjut)
- Koreksi: ketika terdeteksi konflik informasi di antara halaman-halaman kami. Desk membaca ulang seluruh kumpulan dokumen pada level klaster yang sudah diterbitkan, untuk menangkap ketidaksesuaian yang tidak terlihat jika halaman dilihat satu per satu. (laporan koreksi)
Human-in-the-Loop
- Situasi pengecualian yang membutuhkan persetujuan manusia didefinisikan dan dikelola dengan checklist yang jelas, bukan bergantung pada intuisi.
- Saat ini sistem dioperasikan dengan otonomi yang ditingkatkan tetapi otomatisasi yang sengaja dibatasi. Agen menulis halaman secara mandiri, tetapi penerbitan Wiki dan perubahan aturan penulisan tetap memerlukan persetujuan akhir manusia.
Teks lengkap: https://alfadur7.github.io/llm-wiki-newsroom/ko/knowledge-factory/
Belum ada komentar.