Perangkat Lunak Setelah AI: Dimulainya Era Harness

• Akhir era perangkat lunak adalah awal era harness, ketika SaaS yang berjalan dengan workflow tetap dan database terkelola sedang digantikan oleh AI yang memiliki kecerdasan
• AI itu kuat, tetapi seperti kuda liar yang belum dijinakkan; untuk memanfaatkan kekuatannya diperlukan pengendalian yang sistematis (domestication)
• Harness agen AI didefinisikan sebagai 7 komponen inti yang mengelilingi LLM di pusat, dan tiap elemen menentukan keandalan serta performa tingkat produksi
• Di era ketika semua perusahaan bisa mengakses model yang sama, pemenangnya bukan model itu sendiri melainkan pihak yang merancang dan mengoperasikan harness dengan lebih baik (best rider)
• Ribuan pasar yang terpisah dan tidak diprioritaskan oleh lab besar tetap menjadi peluang bagi startup

---

Makna era harness

• AI mendefinisikan ulang paradigma perangkat lunak dengan menggantikan SaaS berbasis workflow tetap dan database terkelola dengan kecerdasan (intelligence)
• AI dianalogikan sebagai mustang (kuda liar): kuat tetapi kasar, sehingga tidak bisa langsung digunakan, dan proses menjinakkannya itulah harness
• Inti dari penjinakan ini adalah arsitektur yang menempatkan LLM di pusat, dengan 7 komponen tersusun secara radial di sekelilingnya

7 komponen harness agen AI

• 1. Context & Memory (Konteks dan Memori)

  • Model umum memerlukan retrieval yang disesuaikan dengan kebutuhan (bespoke retrieval), dan sistem pencarian konteks untuk radiolog tidak bisa sama dengan sistem untuk asisten hukum
  • Sistemnya berbeda-beda bergantung pada kasus, mulai dari memori jangka pendek ("apa yang dilakukan agen 45 detik lalu"), pencarian gambar skala besar (radiologi/generasi gambar), hingga pencarian kata kunci di miliaran dokumen
  • Di samping retrieval ada database konteks, yang berperan sebagai "buku resep" berisi cara bisnis benar-benar dijalankan
    • SOP yang dibawa orang di kepala mereka saat datang bekerja itulah resep tersebut
    • Esensi database konteks adalah penangkapan awal dan evolusinya seiring perubahan manusia maupun proses

• 2. Tools & Action (Alat dan Tindakan)

  • Alat adalah sarana agen untuk memengaruhi dunia luar; jika resep dalam database konteks menjelaskan "apa yang harus dilakukan", maka alat adalah bahan dan instrumen untuk benar-benar melakukannya
  • Harness modern mengekspos alat melalui registry, memvalidasi argumen yang dikirim model, mendispatch pemanggilan, melewatkan pekerjaan sensitif melalui gerbang persetujuan, lalu mem-parsing hasilnya kembali ke loop agen
  • MCP muncul sebagai connective tissue untuk menghubungkan alat
  • Kualitas harness ditentukan oleh jumlah alat yang bisa diekspos dengan aman dan kemampuan menangani kegagalan secara rapi

• 3. Orchestration & Loop (Orkestrasi dan Loop)

  • Loop agen memiliki struktur think → act → observe → repeat
  • Perencanaan, pemecahan tugas, sub-agen, retry, dan kondisi penghentian menentukan cara pekerjaan dijalankan
  • Sistem harus membaik seiring penggunaan, dan pola closed loop yang belajar dari tiap eksekusi menjadi faktor pembeda antvendor

• 4. State & Persistence (Status dan Persistensi)

  • Dalam enterprise skala besar, ketika banyak orang menggunakan sistem secara bersamaan, resiliensi adalah keharusan
  • Jika harness crash pada langkah ke-7 dari pekerjaan 10 langkah, sistem harus melanjutkan dari langkah ke-8, bukan mengulang dari awal
  • File system, checkpoint, session thread, dan artifact store adalah mekanisme yang mencegah hilangnya pekerjaan

• 5. Sandbox & Compute (Sandbox dan Komputasi)

  • Setiap agen membutuhkan ruang kerja terpisah (sandbox)
  • Workspace Unix yang terisolasi, egress jaringan yang terkontrol, serta credentials yang disimpan di luar model menjamin keamanan, kerahasiaan, dan kecepatan dalam skala besar

• 6. Observability & Governance (Observabilitas dan Tata Kelola)

  • "Apa yang tidak bisa dilihat tidak bisa dipercaya" — pelacakan setiap langkah, logging setiap pemanggilan alat, menjalankan evals sebagai regression test, dan human-in-the-loop untuk keputusan berisiko tinggi adalah hal yang mengubah demo menjadi sistem produksi
  • Guardrails menegakkan kebijakan, dan Evals menangkap regresi sebelum pelanggan mengalaminya

• 7. Cost & Workflow Optimization (Biaya dan Optimisasi Workflow)

  • Yang ketujuh adalah penilaian arsitektural (architectural judgment)
  • Ini mencakup membedakan area yang harus diproses secara deterministik vs non-deterministik, memilih model yang tepat untuk tiap tahap (terdepan, menengah, kecil, fine-tuned), dan memutuskan apakah pengetahuan sebaiknya ditempatkan dalam skill atau memori

Peta persaingan yang baru

• Hasilnya adalah dinamika persaingan baru dalam perangkat lunak, dan ini tidak berlaku sama untuk semua kategori
• Pasar yang diprioritaskan oleh major lab (lembaga riset AI utama) diuntungkan oleh eksekusi cepat dan kontrol langsung atas model
• Namun, ribuan pasar terpisah lainnya tetap terbuka bagi startup
• Di era ketika semua perusahaan dapat menggunakan model yang sama, "penunggang terbaik (best riders)" yang menang — yaitu kemampuan merancang dan mengoperasikan harness menjadi daya saing utama

[junghan0611]

Saya sangat menyukai pi sebagai tool agen karena sangat ringan. Selain itu, saya juga membuat pi-shell-acp untuk menghubungkan Claude Code dan Gemini, dan memakainya dengan baik. Saya membuat dan memakai beberapa skill, dan semakin dicoba, semakin terasa bahwa kustomisasi sesuai selera sendiri itu bagus. Saat langsung memakai Claude Code, Codex, dan sebagainya, saya menjalankannya dalam mode YOLO dengan built-in tool dimatikan sebanyak mungkin hingga setara level pi. Fitur baru langsung saya nonaktifkan, seperti memukulnya dengan palu.

[runai]

Saya telah menghapus semua pengaturan harness yang saya miliki.
Semakin berkembang model, harness justru berfungsi sebagai faktor yang membatasi performa model.
Pengaturan harness yang setengah matang malah menghasilkan output yang lebih buruk.
Pengaturan harness yang sebelumnya ada di 4.7 ke bawah sudah tidak lagi berarti di 4.8,
dan di GPT 5.5 pun hanya menjadi penghalang.

[hanje3765]

Komponen harness yang disebutkan dalam teks bukanlah hal-hal yang bisa diselesaikan hanya dengan meningkatnya kecerdasan llm.

Kalau yang Anda maksud adalah harness pada masa ketika definisinya masih belum jelas, saya rasa itu mungkin saja. Namun jika yang dimaksud adalah harness seperti yang dibahas dalam teks, tampaknya itu akan tetap menjadi area yang perlu dikelola secara berkelanjutan ke depannya.

[runai]

Menurut saya ini bukan semata soal kecerdasan; selain kecerdasan, model-model juga sedang mengembangkan kemampuan penggunaan seperti orkestrasi dan alat secara bersamaan. Bidang orkestrasi sendiri tadinya merupakan salah satu bagian inti dari Harness, tetapi sekarang itu pun sudah didukung. Kalau begitu, pada titik saat ini, jika ada orkestrasi rakitan sendiri dan orkestrasi resmi, mana yang lebih tepat untuk digunakan?

[kaydash]

Saya setuju. Kita harus mengembangkan sambil merespons bersama.

[emptybynature]

Ada posting resmi tentang harnessing yang diumumkan di situs OpenAI. Isinya berbagi pengalaman dan tips tentang bagaimana OpenAI menggunakan harnessing secara internal. Artinya, bahkan OpenAI sendiri memakai harnessing untuk proyek internal mereka. Harnessing jelas diperlukan dan berdampak langsung pada kualitas implementasi akhir. Yang terpenting, token yang dibutuhkan untuk menghasilkan output dengan kualitas yang sama bisa berkurang hingga setengahnya. Kinerja dan biaya sama-sama bisa dioptimalkan, jadi tidak ada alasan untuk tidak menggunakannya.

[runai]

Di Opus 4.8, ultracode effort telah ditambahkan, dan ini menyelesaikan pekerjaan yang sebelumnya dilakukan mode harness buatan developer dengan lebih baik. Karena itu, menurut saya pada titik ini akan lebih baik jika Anda menghapus bagian orkestrasi dari mode harness yang selama ini Anda gunakan.

[gulbi135]

Saya setuju. Saya juga menghapus orkestrasi buatan tangan untuk 4.7 dan pemaksaan perencanaan yang bertele-tele karena di 4.8 itu justru menghambat.
Namun, pada codebase ratusan ribu baris yang dipelihara selama bertahun-tahun, nilai nyata harness bukan pada orkestrasinya, melainkan pada lapisan yang tidak bisa digantikan oleh ultracode (graf pengetahuan, konvensi domain, invarian verifikasi), jadi saya mempertahankan lapisan konteks itu dan hanya memparalelkan bagian yang benar-benar independen sebagai workflow.
Sebaliknya, untuk proyek baru saya rasa ultracode memang lebih cocok tanpa perlu harness. Pada akhirnya, ini bukan soal "dihapus vs dipertahankan", melainkan masalah yang bergantung pada usia codebase dan tingkat keterikatannya.

[runai]

Ya. Itu benar. Bagian yang tidak mencakup orkestrasi itu sendiri masih tetap bernilai.