Apakah ada alat untuk memantau dan mencatat aktivitas AI?

Apakah ada alat atau proyek untuk mencatat semua tindakan yang terlihat secara sistem saat menggunakan AI, seperti input dan output, serta proses yang berjalan (pencarian web, izin eksekusi, eksekusi, dan sebagainya), baik yang terpasang sendiri maupun dengan antarmuka web UI?

Meski hanya sebagian juga tidak masalah. Baik layanan komersial maupun lainnya.
Dalam kasus seperti Claude Code, misalnya menjalankan Claude dari cmd, lalu setelah itu melakukan logging atas input dan output, serta pekerjaan yang dijalankan proses Claude saat berjalan (jaringan, aktivitas lokal, dan lain-lain)...

[zihado]

Saya membangunnya dengan clickstack. Dengan mengatur otel lalu mengirimkannya.

[woung717]

Bukankah itu fitur yang disediakan di Litellm proxy dan LangSmith?

[junoverse]

Argos? Atau Cursor Mafia? Ada layanan yang dijalankan oleh seseorang yang pernah menjadi pengembang di Toss dan melakukan vibe coding; layanan itu juga bisa di-self-hosting, dapat memantau beberapa akun lewat API key atau plan, dan sepertinya memiliki fitur-fitur seperti yang Anda sebutkan, misalnya berapa banyak sesi yang berjalan, tool apa yang digunakan, dan sebagainya.

Saya agak lupa apakah dulu hanya mendukung Claude saja, tetapi kalau Anda ingin membuatnya secara kustom, sepertinya layak juga untuk dibongkar dan dilihat.

[taekim34]

Kalau untuk sisi Claude Code, coba lihat cc-token-saver (https://github.com/ww-w-ai/cc-token-saver).

Claude Code mencatat semua input/output dan pemanggilan tool (membaca file, menulis, menjalankan bash, permintaan web, dll.) ke transcript (.jsonl) di setiap sesi, dan cc-token-saver mem-parsing ini lalu memvisualisasikan apa yang dilakukan per sesi serta di mana dan berapa banyak token dipakai dalam dashboard HTML. Anda bisa melihat sekilas "di sesi ini AI menyentuh file apa, menjalankan perintah berapa kali, dan biayanya berapa".

Khususnya, skill /continue adalah fitur yang menganalisis transcript untuk memulihkan sesi-sesi yang sudah ada, dan karena fitur analisis transcript bisa digunakan dengan cara yang sama, Anda juga bisa memberi instruksi seperti analisis input, output, dan informasi jaringan untuk kasus /continue ~ seperti ini. (LLM akan menyesuaikan dan menerapkannya sendiri secara tepat)

[darjeeling]

Bukan hanya AI, Anda bisa memakai strace dan berbagai alat debugging lainnya.
Jika ingin membuatnya dengan baik hingga tingkat layanan, coba lihat alat berbasis eBPF.

[byun1114]

Saya coba memasukkan pertanyaannya sendiri ke Gemini, dan ternyata muncul beberapa. Apakah Anda sudah mencoba mencarinya seperti ini?

[cgl00]

Anda mungkin ingin mendengar jawaban dari anggota komunitas daripada Gemini. Saya rasa ini pertanyaan yang legitimate.