https://github.com/unitedbyai/droidclaw
Framework agen AI mobile yang mengenali layar dan secara otomatis melakukan sentuhan serta input melalui ADB ketika tujuan dimasukkan dalam bahasa alami.
Cara kerjanya sederhana. Sistem mengulang loop “tangkap layar → kenali dengan model visi → simpulkan aksi berikutnya → jalankan lewat ADB”. Misalnya, jika Anda memasukkan “carikan Claude di YouTube”, sistem akan menangani semuanya secara otomatis mulai dari membuka aplikasi hingga mengetik kata pencarian.
Perbedaannya dengan alat RPA konvensional adalah ia bekerja dengan memahami layar tanpa hardcoding koordinat. Jadi, saat UI berubah pun sistem masih bisa beradaptasi sampai batas tertentu.
Skenario penggunaan yang memungkinkan:
∙ Otomatisasi pengujian UI aplikasi
∙ Menghubungkan beberapa ponsel secara paralel untuk membagi pemrosesan tugas berulang
∙ Otomatisasi yang membutuhkan perangkat fisik (kasus yang tidak bisa dijalankan di emulator)
Jika Anda punya ponsel cadangan yang tersimpan di laci, ini bisa dicoba dengan mudah. Asalkan koneksi ADB tersedia.
1 komentar
Ide yang bagus.