Halo.
Baru-baru ini saya membuat Chrome Extension yang secara otomatis mengubah aktivitas yang dilakukan di browser menjadi panduan pengguna (SOP).
Berbeda dari metode perekaman layar konvensional, ekstensi ini mengumpulkan event klik dan input bersama konteks DOM lalu menyusunnya kembali menjadi langkah kerja yang mudah dipahami manusia.
Pipeline saat ini adalah sebagai berikut.
Browser Recording → DOM Context Extraction → Solar Pro 3 → AI Validation → Word / PDF / Markdown
Bagian yang paling sulit saat mengimplementasikannya adalah menentukan "sampai sejauh mana sesuatu dianggap sebagai satu Step".
Jika event browser dicatat apa adanya, hasilnya menjadi terlalu terperinci; sebaliknya, jika terlalu banyak digabungkan, niat penting pengguna bisa hilang. Saat ini saya menggabungkan event berdasarkan perubahan DOM, status input, perpindahan halaman, dan sebagainya, lalu Solar Pro 3 menghasilkan penjelasan bahasa alami untuk tiap langkah, dan AI memverifikasi kembali urutan serta ada tidaknya bagian yang terlewat.
Saat ini implementasi sudah sampai tahap pembuatan dokumen, dan berikutnya saya sedang bereksperimen ke arah memanfaatkan manual yang dihasilkan sebagai Task Plan yang terstruktur. Tujuannya bukan sekadar dokumen sederhana, melainkan berkembang menjadi workflow yang dapat dieksekusi sehingga AI Agent bisa memahami dan memandu pekerjaan atau mereproduksi aktivitas browser yang berulang.
Interaction Segmentation dan Task Planning masih terus saya tingkatkan. Saya ingin mendengar masukan dari siapa pun yang memiliki riset terkait atau pengalaman implementasi.
Belum ada komentar.