Apakah ada alat untuk memantau dan mencatat aktivitas AI?

Apakah ada alat atau proyek untuk mencatat semua tindakan yang terlihat secara sistem saat menggunakan AI, seperti input dan output, serta proses yang berjalan (pencarian web, izin eksekusi, eksekusi, dan sebagainya), baik yang terpasang sendiri maupun dengan antarmuka web UI?

Meski hanya sebagian juga tidak masalah. Baik layanan komersial maupun lainnya.
Dalam kasus seperti Claude Code, misalnya menjalankan Claude dari cmd, lalu setelah itu melakukan logging atas input dan output, serta pekerjaan yang dijalankan proses Claude saat berjalan (jaringan, aktivitas lokal, dan lain-lain)...

[waterbear]

Saya tidak yakin apakah ini sesuai dengan yang Anda inginkan, tetapi untuk pelacakan model ada open source bernama https://langfuse.com/.

[pointless]

Saya tidak yakin apakah boleh meninggalkan komentar tentang sesuatu yang saya buat sendiri, tetapi saya meninggalkan komentar ini karena saya rasa ini mungkin membantu jika yang Anda cari adalah alat seperti ini. (Maaf jika ini termasuk hal yang dilarang.)
Ini memang bukan untuk mencatat semua tindakan AI, tetapi saya sedang membuat layanan yang merekam apa yang dirujuk dan bagaimana suatu jawaban dihasilkan. Ini merupakan pivot dari semantic hub sederhana. Berdasarkan Merkle tree, hash dicatat ke ledger eksternal, dan witness diterapkan melalui rekor untuk mencegah pemalsuan atau manipulasi.
Jika modelnya adalah model non-LLM dengan jumlah parameter yang sedikit, zkml juga bisa diterapkan untuk memeriksa konsistensi keluaran jawaban terhadap input.
Jika Anda memasukkan demo audit log di bawah ini ke verifier pembuktian log di bagian bawah halaman utama, Anda bisa melihat apa saja yang dapat diperiksa.
Halaman: https://hub.rawctx.dev/
Demo audit log: https://github.com/pasar6987-create/rawctx-demo-audit-log/…

[byun1114]

Saya coba memasukkan pertanyaannya sendiri ke Gemini, dan ternyata muncul beberapa. Apakah Anda sudah mencoba mencarinya seperti ini?

[syate]

Mungkin saya lancang, tetapi saya rasa komentar seperti ini berdampak negatif pada suasana komunitas.
Kalau ada yang ingin diketahui, rasanya akan lebih baik kalau orang bisa bertanya dengan bebas,
dan ucapan dengan nada "cari sendiri sana" seperti itu,,
terlebih lagi banyak juga yang sudah lelah dengan AI slop, jadi menyuruh orang bergantung pada jawaban LLM apalagi..

[cgl00]

Anda mungkin ingin mendengar jawaban dari anggota komunitas daripada Gemini. Saya rasa ini pertanyaan yang legitimate.

[zihado]

Saya membangunnya dengan clickstack. Dengan mengatur otel lalu mengirimkannya.

[woung717]

Bukankah itu fitur yang disediakan di Litellm proxy dan LangSmith?

[junoverse]

Argos? Atau Cursor Mafia? Ada layanan yang dijalankan oleh seseorang yang pernah menjadi pengembang di Toss dan melakukan vibe coding; layanan itu juga bisa di-self-hosting, dapat memantau beberapa akun lewat API key atau plan, dan sepertinya memiliki fitur-fitur seperti yang Anda sebutkan, misalnya berapa banyak sesi yang berjalan, tool apa yang digunakan, dan sebagainya.

Saya agak lupa apakah dulu hanya mendukung Claude saja, tetapi kalau Anda ingin membuatnya secara kustom, sepertinya layak juga untuk dibongkar dan dilihat.

[taekim34]

Kalau untuk sisi Claude Code, coba lihat cc-token-saver (https://github.com/ww-w-ai/cc-token-saver).

Claude Code mencatat semua input/output dan pemanggilan tool (membaca file, menulis, menjalankan bash, permintaan web, dll.) ke transcript (.jsonl) di setiap sesi, dan cc-token-saver mem-parsing ini lalu memvisualisasikan apa yang dilakukan per sesi serta di mana dan berapa banyak token dipakai dalam dashboard HTML. Anda bisa melihat sekilas "di sesi ini AI menyentuh file apa, menjalankan perintah berapa kali, dan biayanya berapa".

Khususnya, skill /continue adalah fitur yang menganalisis transcript untuk memulihkan sesi-sesi yang sudah ada, dan karena fitur analisis transcript bisa digunakan dengan cara yang sama, Anda juga bisa memberi instruksi seperti analisis input, output, dan informasi jaringan untuk kasus /continue ~ seperti ini. (LLM akan menyesuaikan dan menerapkannya sendiri secara tepat)

[darjeeling]

Bukan hanya AI, Anda bisa memakai strace dan berbagai alat debugging lainnya.
Jika ingin membuatnya dengan baik hingga tingkat layanan, coba lihat alat berbasis eBPF.