Saya tidak suka harus membiarkan tab Telegram terbuka seharian hanya untuk mengobrol dengan agen lokal (Hermes/OpenClaw), jadi saya membuat avatar untuk menggantikan posisi itu. Bentuknya dua jendela bergaya panggilan video yang selalu ada di monitor (avatar + chat), membuat respons agen bukan sekadar dibaca, melainkan “diperankan”.
-
Avatar tidak memakai GPU saat runtime. Alih-alih inferensi real-time, ia memilih dan memutar sekitar 30 klip yang sudah di-prerender berdasarkan tag emosi dari output LLM. Jika [working], avatar memakai kacamata dan mencatat; untuk tag [confirm], muncul opsi setujui/batalkan agar bisa bertanya sebelum tugas yang tidak bisa dibatalkan; kode/log dirender sebagai kartu, bukan dibacakan. GPU sepenuhnya untuk model.
-
Tidak menggantikan agen, melainkan terhubung sebagai konektor. Strukturnya gateway melakukan dial-out ke WebSocket lokal yang dijalankan aplikasi, jadi dari sisi agen ini hanya seperti bertambah satu channel. Menu slash command milik agen juga diterima dan ditampilkan apa adanya.
-
Suara dua arah: Edge TTS (bisa diganti dengan engine lokal) + Silero VAD·faster-whisper.
-
Open core (MIT). Avatar starter gratis sudah disertakan, jadi bisa langsung berjalan setelah clone. Avatar itu sendiri dibuat hanya dengan tool lokal gratis (Animagine XL → HunyuanVideo 1.5 i2v), sehingga juga menjadi contoh yang membuktikan bahwa metode pembuatan yang tertulis di dokumentasi benar-benar bisa dilakukan.
Hal yang saya pelajari saat membuatnya: ternyata lebih sulit dari perkiraan membuat ekspresi mikro lewat prompt pada model video diffusion. Wan 2.2 5B bisa menghasilkan senyum dengan mulut terbuka lebar, tetapi emosi yang diekspresikan lewat alis seperti “khawatir” atau “marah” hanya keluar sebagai wajah datar; setelah beralih ke HunyuanVideo 1.5 (distilasi bertahap 8.3B), pada kartu 12GB yang sama hasilnya lebih cepat sekaligus ekspresinya keluar dengan benar.
Saat ini hanya ada build Windows, dan belum ada lip-sync real-time (trade-off dari pendekatan prerender).
Belum ada komentar.