7 poin oleh GN⁺ 3 jam lalu | Belum ada komentar. | Bagikan ke WhatsApp
  • Meskipun agen menangani loop eksekusi internal yang berulang antara riset, implementasi, dan verifikasi, engineer tetap harus memiliki loop eksternal yang menentukan apakah sesuatu akan dideploy dan bertanggung jawab atas hasilnya
  • Sistem agen dijalankan berdasarkan Quality (kualitas) yang berarti pemeriksaan awal, Verdict (keputusan) yang menentukan apakah sesuatu masuk ke produksi, dan Answerability (akuntabilitas penjelasan) yang memungkinkan alasan di balik keputusan dijelaskan
  • Survei Sonar tahun 2026 menunjukkan bahwa 42% kode yang di-commit dibuat oleh AI atau sangat dibantu AI, dan ketika kecepatan generasi melampaui kecepatan kontrol, review, verifikasi, pemahaman, dan pemeliharaan menjadi sumber daya yang langka
  • Penggunaan AI membawa penyerahan kognitif berupa menerima jawaban yang salah begitu saja, utang kognitif yang melemahkan pemahaman kode, serta biaya orkestrasi karena banyak agen harus dikelola dengan perhatian manusia yang terbatas
  • Software factory yang dapat diskalakan hanya mungkin jika agen diberi bukan otonomi maksimum, melainkan otonomi yang bisa dihentikan, diatur, dan diverifikasi, sementara manusia bertanggung jawab atas batasan, review sampel, audit, kepemilikan, dan hasil akhir

Loop eksternal dalam agentic engineering

  • Diskusi tentang agentic engineering kini bergeser ke harness agen, loop, fleet, dan software factory
  • Semakin kuat model seperti Fable dan GPT-5.6, semakin penting bagi engineer untuk secara langsung memiliki loop eksternal yang berarti tanggung jawab atas sistem
  • Leverage tinggi dari agen menciptakan kewajiban yang setara
    • Harus bisa menjelaskan dengan tepat apa yang berubah
    • Harus bisa menjelaskan mengapa perubahan itu aman
    • Harus tahu apa yang akan terjadi jika penilaiannya salah
  • Jika syarat ini tidak terpenuhi, tindakan agen tidak bisa dibenarkan dan organisasi pun akan sulit memakai sistem seperti itu

Kualitas, keputusan, dan akuntabilitas penjelasan

  • Quality (kualitas) berarti semua pemeriksaan yang dipasang sebelum sistem dilepas, dan bukti yang diperoleh di sini menjadi dasar keputusan
  • Verdict (keputusan) adalah keputusan produksi final yang dibuat manusia sebelum pekerjaan masuk ke sistem dependen
    • Walaupun model menulis kode, orang yang mendeploy pekerjaan atas namanya sendiri tetap memikul tanggung jawab keputusan
    • Ia memutuskan salah satu dari deploy, blokir, ubah rute, perkecil cakupan respons, tambahkan guardrail, atau tolak sepenuhnya
  • Answerability (akuntabilitas penjelasan) adalah jaminan bahwa ketika seseorang bertanya alasannya, penilaian itu bisa dijelaskan
  • Model bisa menulis satu baris kode, tetapi tidak menggantikan tanggung jawab untuk memutuskan apakah kode itu layak diteruskan ke sistem dependen

Model, harness, loop, factory

  • Agen bukan hanya satu model, tetapi juga mencakup harness yang menggabungkan file, tool, memori, keterampilan, sandbox, izin, observabilitas, dan kemampuan pemulihan
  • Jika model adalah mesin, harness adalah mobil yang dibangun di sekitar mesin agar pekerjaan nyata bisa dilakukan dengan aman
    • Tool dan memori memberi kemampuan kerja
    • Izin dan sandbox membatasi ruang lingkup eksekusi
    • Test dan observabilitas memungkinkan hasil kerja diperiksa
  • Loop eksekusi agen terdiri dari riset → implementasi → verifikasi → pengulangan
    • Siklus yang dapat diulang mengubah satu keberhasilan menjadi proses yang bisa dipercaya kembali
    • Selesai atau tidaknya pekerjaan harus ditentukan oleh pemeriksaan independen, bukan oleh penilaian model itu sendiri
  • Jika banyak loop dijalankan sekaligus, itu menjadi software factory
    • Di dalam, agen menghasilkan pekerjaan
    • Di batasnya, manusia memiliki keputusan produksi

Batas yang memisahkan dalam dan luar sistem

  • Di pusat software factory ada batas yang memisahkan bagian dalam dan luar sistem
  • Sistem internal mengumpulkan input berupa niat tim produk, pengetahuan tentang pekerjaan deployment sebelumnya, gangguan terbaru, dan umpan balik pengguna yang spesifik
  • Loop agen meneliti pekerjaan, mengimplementasikan rencana, lalu memverifikasi hasilnya
  • Saat bukti yang dihasilkan dari verifikasi melewati batas sistem, manusia yang memiliki sistem dependen memutuskan apakah proses dilanjutkan
  • Dulu agen hanya menjalankan sebagian proses eksekusi, tetapi sekarang ia menangani seluruh loop eksekusi internal dan engineer mengambil loop eksternal
  • Yang diberikan agen di dalam batas adalah kapabilitas (capability)
    • Meneliti pekerjaan
    • Mengimplementasikan rencana
    • Menguji hasil
    • Melaporkan hasil
  • Yang dijalankan manusia di luar batas adalah agency
    • Memutuskan
    • Memverifikasi
    • Menyetujui
    • Memiliki

Kesenjangan kepercayaan dan verifikasi yang diciptakan kode AI

  • Porsi kode AI tidak lagi berada di tingkat yang marginal
  • Menurut laporan Sonar 2026 State of Code, 42% kode yang di-commit dibuat oleh AI atau sangat dibantu AI, dan para responden memperkirakan proporsinya akan terus meningkat, bukan berhenti
  • Ketika biaya pembuatan kode menurun, review, verifikasi, pemahaman, dan pemeliharaan menjadi sumber daya yang lebih langka
  • Karena kecepatan generasi meningkat lebih cepat daripada kecepatan kontrol, muncullah kesenjangan kepercayaan dan verifikasi
    • Banyak orang menunjukkan ketidakpercayaan terhadap kode AI
    • Lebih sedikit lagi yang menerjemahkan ketidakpercayaan itu menjadi prosedur verifikasi yang konsisten
  • Dibutuhkan cara yang lebih murah dan lebih jelas untuk memastikan keandalan kode AI

Batas tata kelola pasca-fakta

  • Menurut riset AI responsibility GitLab Juni 2026, bottleneck penggunaan AI saat ini adalah review dan verifikasi
  • Tata kelola umumnya diterapkan setelah kode dibuat
    • Pada titik ini organisasi pada dasarnya sudah menerima risikonya
    • Kontrol atas kepemilikan pekerjaan juga sudah melemah
  • Tata kelola AI harus melampaui sekadar kontrol sistem dan menentukan hal-hal berikut
    • Batasan apa yang akan diterapkan pada sistem
    • Bukti apa yang akan dipakai untuk memeriksa pekerjaan
    • Bagaimana tim akan dimintai pertanggungjawaban
    • Siapa yang memiliki tiap bagian dari siklus hidup AI

Tekanan balik yang membentuk kualitas

  • Kualitas dapat dipahami sebagai back pressure (tekanan balik) yang bekerja pada sistem
  • Tujuannya bukan memberi agen otonomi sebesar-besarnya
  • Agen hanya perlu diberi otonomi sejauh masih bisa dihentikan, diatur, pekerjaannya diperiksa, dan peran manusia dipertahankan
  • Dalam engineering yang ada sekarang, sudah ada sinyal yang menunjukkan apakah pekerjaan bergerak ke arah yang benar
    • Type check
    • Test
    • Hook
    • Batas sandbox
    • Audit log
    • Monitor
  • Jika agen juga memancarkan sinyal yang sama, kerangka engineering yang sudah ada bisa memberi tekanan balik yang tepat

Empat loop tempat manusia harus berada

  • Mempercayai sistem tidak berarti mengeluarkan manusia dari loop
  • Dibanding loop eksekusi internal, manusia harus berada di empat loop kontrol eksternal berikut
    • Loop batasan: menentukan input, arsitektur, instruksi, dan kondisi invarian apa yang akan ditetapkan
    • Loop review sampel: menentukan seberapa banyak output yang akan diambil dan ditinjau
    • Loop audit: menentukan bukti apa yang harus disimpan dan bagaimana memastikan validitas audit log
    • Loop kepemilikan: memperjelas siapa memiliki bagian mana dari batas produksi
  • Agen bisa menghasilkan lebih banyak pekerjaan daripada yang bisa direview manusia
  • Karena itu sumber daya yang langka adalah daya penilaian inti manusia yang dijalankan berdasarkan sinyal kualitas seperti log dan test
  • Dalam lingkungan eksperimen yang dibahas oleh riset OpenAI tentang agen dan masa depan kerja, delegasi agentic dalam rentang waktu berjam-jam telah mencapai tahap yang sudah memungkinkan
  • Batas kepemilikan harus ditetapkan sebelum sistem menghasilkan lebih banyak pekerjaan daripada kapasitas review

Agen berumur panjang dan akuntabilitas penjelasan

  • Setiap pilihan yang dibuat agen jangka panjang yang berjalan selama berjam-jam adalah sebuah keputusan
  • Tidak semua keputusan itu tercatat, dan masing-masing pun tidak selalu bisa ditelusuri kembali hingga token input
  • Jika kita hanya percaya bahwa hasilnya adalah pilihan yang benar untuk masalah tersebut, merekonstruksi rantai keputusan yang menghasilkan hasil itu bisa memerlukan ratusan atau ribuan jam kerja manusia
  • Karena rantai keputusan seperti ini pada praktiknya sulit direkonstruksi, akuntabilitas penjelasan harus diletakkan di pusat desain sistem

Tiga biaya tersembunyi dari delegasi AI

  • Penyerahan kognitif

    • Penyerahan kognitif (cognitive surrender) adalah fenomena ketika hasil yang diberikan AI diterima secara membabi buta
    • Meski pekerjaan didelegasikan ke agen, hasilnya tetap terhubung ke pekerjaan, reputasi, dan tanggung jawab pengguna
    • Cacatnya tetap tinggal di software milik pengguna
    • Yang harus diubah agar sesuai dengan output juga tetap software milik pengguna
    • Jawaban agen pada akhirnya menjadi jawaban pengguna, dan tanggung jawab ikut melekat
    • Dalam riset Wharton, hampir tiga perempat peserta menerima jawaban AI bahkan saat AI salah, dan menunjukkan kepercayaan diri lebih tinggi dibanding ketika menilai tanpa AI
  • Utang kognitif

    • Utang kognitif (cognitive debt) adalah fenomena melemahnya pemahaman dan ingatan atas cara menyelesaikan masalah
    • Saat pekerjaan didelegasikan ke agen, proses berpikir ikut dieksternalisasi
    • Waktu dan energi yang dibutuhkan untuk memahami sendiri codebase besar mungkin sulit didapatkan dalam proses belajar
    • Akibatnya, hasil yang dibuat agen kadang berada pada tingkat yang sulit dicapai oleh kemampuan pengguna saat ini
    • Semakin lama waktu perencanaan agen, semakin besar kesenjangan antara kode yang dihasilkan dan pemahaman manusia
    • Kesenjangan ini terakumulasi, dan biaya untuk kembali menaiki kurva belajar juga meningkat hampir secara eksponensial
    • Dalam uji coba acak terkontrol Anthropic, skor kuis pemahaman engineer yang menulis kode dengan AI adalah 50%, 17 poin persentase lebih rendah daripada kelompok yang menulis sendiri yang mencapai 67%
  • Biaya orkestrasi

    • Biaya orkestrasi (orchestration tax) muncul karena meskipun banyak agen bisa dijalankan sekaligus, bandwidth kognitif manusia tidak bisa diparalelkan dengan cara yang sama
    • Manusia tetap harus melakukan pekerjaan berikut secara langsung
      • Mengarahkan agen agar menghindari tindakan terburuk
      • Memilih pekerjaan mana dari hasil keluaran yang membutuhkan perhatian
      • Menginstruksikan agar pekerjaan penting diprioritaskan
      • Memverifikasi batasan inti dan asumsi berisiko sebelum eksekusi
    • Pekerjaan ini tidak bisa diotomatisasi dan tidak bisa menggantikan penilaian manusia

Cara melindungi perhatian di brownfield

  • Sistem brownfield sangat berisiko karena perilaku yang harus diaudit tidak hanya ada di dalam kode, tetapi juga tertinggal dalam luka dan sejarah yang terakumulasi
  • Dalam keputusan arsitektur, perhatian manusia harus diprioritaskan
  • Menggunakan worktree, cakupan, dan bukti dapat menurunkan keterikatan antara rencana awal dan pekerjaan baru yang terungkap selama eksekusi
  • Upaya menyelesaikan langkah yang tidak bisa dieksekusi harus diberi batas waktu
  • Hak untuk mengubah software harus diberikan dengan pendekatan opt-in yang ketat

Alpha, decay, taste

  • Tiga pola inti yang membentuk karier dan pencapaian lintas bidang adalah alpha, decay, dan taste
  • Alpha adalah wilayah terdepan yang ditempati orang dengan performa tertinggi dalam persaingan, sekaligus keadaan saat langkah paling bernilai dimainkan
  • Decay adalah pola mapan yang dipelajari semua orang melalui pengulangan dan observasi, semacam fase stagnasi
  • Taste adalah daya nilai yang menangkap pergeseran alpha atau perubahan decay sebelum bukti itu muncul
  • Pembahasan Paul Graham menyatakan bahwa ketika semua orang bisa membuat apa pun, memilih apa yang akan dibuat menjadi lebih penting
  • Dalam definisi Mitchell Hashimoto, taste adalah penilaian kualitatif berkualitas tinggi yang dibuat ketika belum ada ukuran objektif
  • Pergerakan alpha terjadi karena perubahan taste, dan decay menghilang ketika orang mulai memilih hal lain

Menjadikan taste sebagai kemampuan yang bisa dioperasionalkan

  • Untuk memindahkan taste dari sekadar intuisi menjadi kemampuan yang sadar, pertama-tama ia harus diberi nama
  • Penilaian itu harus dilatih melalui kritik dan contoh konkret
  • Dasar dari penilaian tersebut juga harus diungkapkan secara eksplisit
  • Untuk meningkatkan keunggulan kompetitif yang berkelanjutan, batas peran harus terus dinaikkan
    • Mengerjakan tugas secara langsung
    • Mengajarkan tugas itu kepada orang atau sistem lain
    • Mensistematisasi tugas itu
    • Menentukan kapan tugas itu harus dilakukan
    • Memiliki hasilnya

Perbedaan developer dan engineer

  • Semua orang bisa menjadi developer, tetapi tidak semua orang adalah engineer
  • Seseorang menjadi engineer ketika ia menerima disiplin kerja yang lebih ketat
    • Penalaran yang menyeluruh dan sahih secara logis
    • Pertimbangan terhadap batasan dan trade-off
    • Kesadaran atas risiko dan cakupan paparan
    • Tanggung jawab yang nyata
  • Ketika engineering menjadi lebih menuntut, orang akan menjauh dari pekerjaan yang serba dikelola, lalu memisahkan peran yang dulu terikat pada keahlian tangan agar fungsi masing-masing lebih jelas
    • Orang yang membuat prototipe
    • Orang yang membangun
    • Orang yang merapikan
    • Orang yang menumbuhkan
    • Orang yang memelihara

Batas sistem yang hanya bisa dijaga manusia

  • Manusia juga berperan menaikkan alpha di batas sisi lain sistem
    • Memilih apa yang layak dikerjakan
    • Menentukan dalam batasan apa itu dilakukan
    • Menilai apakah bukti sudah cukup untuk melanjutkan
    • Menjaga hasilnya
  • Baik satu tim maupun seratus tim, batas ini hanya bisa dimiliki manusia
  • Perhatian, taste, dan tanggung jawab adalah unsur inti yang membuat software factory dapat berfungsi
  • Tanpa tanggung jawab, aturan, respons terhadap pertanyaan, trade-off, risiko, dan jaring pengaman tidak akan terbentuk
  • Jika tidak ada pihak yang memiliki akibat dari keputusan, agency yang tinggi akan berubah menjadi kekacauan

Tanda tangan yang bertahan lebih lama daripada teknologi

  • Waktu paruh keunggulan teknis mungkin hanya satu rilis, tetapi waktu paruh tanda tangan (signature) yang ditinggalkan dalam pekerjaan dapat berlangsung sepanjang karier
  • Tanda tangan berarti seseorang bisa menaruh namanya pada hasil yang dideploy dan mendukungnya
  • Teknologi menciptakan leverage, dan tanggung jawab mengubah leverage itu menjadi kepercayaan
  • Yang memilih dan mewarisi akibatnya hanyalah manusia
  • Agen dapat memilih, merutekan, menggabungkan, dan melakukan eskalasi di dalam kebijakan, tetapi tidak dapat mewarisi akibat dari hasil tersebut

Kontrak tanggung jawab untuk codebase

  • Setiap codebase mungkin memerlukan kontrak tanggung jawab yang menjelaskan syarat saat menerima perubahan
    • Checklist untuk memastikan apa yang dipahami saat menyetujui
    • Bukti yang digunakan dalam penilaian
    • Siapa yang bertanggung jawab atas perubahan
    • Keadaan sistem setelah perubahan diblokir
  • Kontrak itu harus secara eksplisit membahas hubungan antara perhatian dan taste, bukti, keputusan dan kepemilikan, serta alpha, decay, dan taste

Tangga agency yang tinggi

  • Dalam workflow agentic, agency yang tinggi adalah kemampuan untuk tahu kapan harus mendelegasikan, memeriksa, menghentikan, dan memiliki hasil
  • Tangga agency bergerak dari tingkat rendah ke tingkat tinggi
    1. Menandai potensi masalah
    2. Menyelidiki masalah
    3. Menjalankan tindakan respons
    4. Mendiagnosis penyebab
    5. Mengusulkan solusi
    6. Merekomendasikan perbaikan
    7. Menyelesaikan masalah
  • Tingkat yang lebih tinggi juga mencakup daya membedakan untuk menemukan masalah tetapi memutuskan bahwa masalah itu tidak layak diperbaiki lalu melewatinya

Mengapa brownfield adalah garis depan software factory

  • Brownfield adalah garis depan yang akan dihadapi software factory yang ingin berkembang
  • Sistem greenfield lebih mudah direncanakan dan diimplementasikan dengan perangkat tekanan balik yang memadai karena keseluruhannya bisa dikendalikan
  • Saat menambahkan agen cerdas ke sistem legacy, kompleksitas di luar kode pun harus ditangani
    • Seluruh perilaku produksi
    • Ekspektasi masa depan pelanggan
    • Riwayat migrasi
    • Siklus rilis dan anggaran
    • Asumsi implisit
    • Situasi pengecualian
    • Keanehan data
    • Prosedur runbook
    • Luka yang terakumulasi tanpa pernah dikelola
  • Merawat brownfield membutuhkan engineering yang berkelanjutan
    • Mengubah pengetahuan implisit menjadi batasan yang eksplisit
    • Menjaga konsistensi pengetahuan lintas tim dan generasi
    • Memformalkan pengetahuan itu ke dalam prosedur pengujian dan spesifikasi fitur
    • Menghubungkan pengetahuan tersebut ke bukti objektif
    • Menumpuk kegagalan sebagai pembelajaran tambahan
  • Jika tingkat pengelolaan yang selama ini diterima terputus, seluruh sistem bisa runtuh

Pekerjaan baru yang muncul saat skala membesar

  • Ketika komponen yang ada diotomatisasi, manusia akan menggunakan alpha dan taste yang diperoleh dari pengalaman kerajinannya untuk merancang pekerjaan baru
    • Merancang loop baru untuk diterapkan ke software factory
    • Membangun sistem greenfield yang berprinsip dengan memanfaatkan pengetahuan dari factory
    • Membuat format bukti baru untuk memverifikasi sistem baru
    • Merawat sistem brownfield yang telah menjadi cukup kompleks hingga membutuhkan pengelolaan khusus
    • Merancang dan mengelola perangkat tekanan balik baru
    • Merancang agen baru
    • Membangun kerangka agency baru
  • Semua aktivitas ini juga merupakan pekerjaan engineering yang nyata, dan akan menjadi masalah yang makin menarik seiring skala membesar

Bottleneck yang dipindahkan oleh otomatisasi

  • Otomatisasi memberi kontrol atas skala industrial, sekaligus menciptakan bottleneck baru
  • Jika bottleneck masa lalu adalah “bisakah ini dibuat?”, maka ke depan ia bergeser menjadi “haruskah ini ada, dan bisakah hasilnya dijelaskan serta dipertanggungjawabkan?”
  • Bottleneck baru yang muncul di produksi layak dimiliki langsung oleh manusia

Model operasi agentic engineering

  • Loop internal adalah tempat pekerjaan nyata dilakukan, dan setiap loop harus dirancang seindependen mungkin
  • Semua jaminan kualitas dan verifikasi harus dimasukkan ke dalam loop internal
  • Setelah loop itu sendiri dirancang dan diverifikasi, otonomi diberikan dengan memasang perangkat tekanan balik yang mengendalikan kecepatan eksekusi dan cakupan kerja
  • Alih-alih ikut campur ke semua tahap internal, manusia harus ditempatkan di titik keputusan yang tepat
  • Jangan perlakukan pemahaman hanya sebagai serah-terima atau release gate, tetapi sebagai titik keputusan tempat manusia siap memberi wawasan
  • Setiap kali hasil kerja disalurkan kembali ke produksi dan ke tim serta engineer baru, hasil dan buktinya harus lebih baik daripada sebelumnya
  • Bangun dan terus operasikan software factory, tetapi jaga agar pekerjaan tetap bisa dibaca, diverifikasi, dan memiliki pemilik
  • Walaupun agen menulis kode, sebelum kode itu mencapai pengguna, manusia tetap harus menjawab pertanyaan berikut
    • Mengapa kode ini harus ada
    • Mengapa cukup aman untuk dimasukkan ke produksi
    • Apa yang akan dilakukan jika ternyata salah
  • Menjalankan penilaian dan tanggung jawab inilah yang menjadi loop eksternal dari agentic engineering

Belum ada komentar.

Belum ada komentar.