Agent.exe - Aplikasi lintas platform untuk mengendalikan perangkat dengan Claude 3.5 Sonnet

• Ingin mengecek performa Computer Use API baru dari Claude, tetapi proyek bawaannya terlihat terlalu berat
• Agent adalah aplikasi Electron sederhana yang memungkinkan Claude 3.5 Sonnet mengendalikan komputer lokal secara langsung
• Sempat ingin menambahkan mode "semi-otomatis" dengan konfirmasi pengguna di setiap langkah, tetapi setiap langkah terlalu lambat sehingga dianggap tidak perlu
• Jika model mulai bingung, Anda dapat menekan tombol "Stop" untuk mengakhiri eksekusi

Memulai

• git clone https://github.com/corbt/agent.exe
• cd agent.exe
• npm install
• Ubah nama .env.example menjadi .env, lalu tambahkan Anthropic API Key
• npm start
• Minta model melakukan tugas menarik di komputer

Sistem yang didukung

• MacOS
• Secara teori, Windows dan Linux juga dapat didukung (semua dependensi bersifat lintas platform)

Keterbatasan yang diketahui

• Hanya berfungsi di layar utama
• AI dapat mengendalikan komputer sepenuhnya
• Mungkin juga ada banyak masalah lainnya

Tips

• Claude sangat menyukai Firefox
• Browser lain juga bisa digunakan, tetapi akan bekerja lebih baik jika Firefox diinstal

Roadmap

• Ini adalah proyek yang dibuat dalam 6 jam, jadi kemungkinan besar tidak akan dikembangkan lebih lanjut
• Namun, jika ada PR yang keren, akan ditinjau dan digabungkan

Ringkasan GN⁺

• Proyek ini menyediakan cara sederhana untuk menguji Computer Use API dari Claude
• Karena AI dapat mengendalikan komputer sepenuhnya, mungkin ada kekhawatiran terkait keamanan
• Kompatibilitas dengan Firefox sangat baik, dan terutama dapat digunakan di MacOS
• Proyek dengan fungsi serupa antara lain AutoHotkey dan Sikuli

[GN⁺]

Komentar Hacker News

• Menurut saya ide Kyle sangat bagus, dan sebagai pengembang desktop automation serta Electron yang berpengalaman, saya merasa source code-nya layak dibaca dan dicoba untuk tugas-tugas dasar

  • Implementasinya berupa wrapper tipis di atas Anthropic API, dan pendekatan berbasis langkah membuat saya cukup yakin bisa menghentikan proses sebelum melakukan hal aneh
  • Saya menutup hal-hal yang tidak ingin dilihat Anthropic di tangkapan layar, memasangnya dengan mulus di M1, dan menjalankannya dalam beberapa menit
  • Tugas dasarnya adalah "mencari penerbangan dari Seattle ke San Francisco untuk Selasa hingga Kamis minggu depan", dan dijalankan melalui Chrome menggunakan kunci API Anthropic
  • Dalam hitungan detik ia menjalankan tiap langkah tugas, dan memang membuka Google Flights dengan benar, tetapi memilih tanggal yang salah
  • Targetnya 2 November, tetapi karena terhalang secara visual oleh jendela Agent.exe, yang dipilih malah 20 November
  • Meskipun Claude bisa melihat tanggal pendamping yang salah, ia tidak mengoreksinya sendiri, lalu menyatakan sukses karena mengira telah menemukan perjalanan selama 1 minggu
  • Eksperimen ini memakan kredit $0.38 dan sekitar 20 detik, dan saya akan terus bereksperimen

• Saya penasaran berapa lama sampai seseorang tidak menyadari ini menambahkan daemon ke sistem

  • Rasanya seperti dulu khawatir mata-mata Soviet bisa mengakses rahasia Amerika
  • Sekarang rasanya semua orang justru memposting rahasia mereka secara online
  • Antivirus atau firewall masa kini tidak bisa melindungi file dari kemampuan yang dapat menimbulkan kekacauan di jaringan

• Saya ingat cerita di berita beberapa tahun lalu, "Alexa, tolong pesan rumah boneka"

  • Alexa milik orang-orang yang menonton siaran itu mengenalinya dan benar-benar memesan rumah boneka
  • Tinggal menunggu sampai ada adegan di acara Netflix yang mengatakan "Delete C:\Windows"

• Saya penasaran bagaimana cara mengotomatisasi aplikasi GUI non-browser di Linux Wayland

  • Aplikasi CLI tidak masalah dengan Bash/Python dan sebagainya
  • Aplikasi browser tidak masalah dengan Selenium/Playwright
  • Xorg punya beberapa library, dan meski merepotkan, tetap bisa dipakai saat mendesak
  • Windows punya banyak solusi RPA
  • Namun di Wayland saya belum bisa menemukan yang benar-benar andal

• Saya penasaran kenapa namanya .exe, padahal ini tampak dimaksudkan sebagai aplikasi multiplatform yang terutama mendukung macOS

• Baru-baru ini saya mencoba Cursor dengan memulai proyek full-stack dari nol dalam mode "compose", dan saya terkejut dengan hasilnya

  • Saya penasaran apakah orang-orang di komunitas software menyadari seberapa total industri ini akan berubah dalam 5 tahun ke depan
  • Sulit membayangkan sampai saat itu orang masih benar-benar mengetik kode dengan tangan

• Ada batasan yang sudah diketahui agar AI tidak bisa sepenuhnya mengambil alih komputer

• Membuat air gap lalu menyuruhnya mengoding sistem operasinya sendiri mungkin terdengar keren, tetapi saya tidak ingin menaruhnya dekat data nyata

• Sepertinya ini hanya bekerja untuk tugas-tugas sederhana

  • Saya memintanya membuat meja sederhana di Rhino dan OnShape, tetapi tampaknya ia bingung
  • Di Rhino, ia melihat aplikasinya terbuka dan mengklaim sedang melakukan berbagai tindakan, tetapi sebenarnya tidak terjadi apa-apa, lalu lanjut ke tugas berikutnya meski langkah sebelumnya belum selesai
  • Di OnShape, ia bilang akan membuat bentuk, tetapi malah memilih item yang salah di menu dan terus bekerja seolah sedang memakai alat yang benar

• Saya ingin komputer membuat meme sepanjang hari, sementara saya merawat keluarga, berkebun, dan menghasilkan uang dari kripto

  • Masa depan tampaknya mengarah ke situasi di mana orang yang masih memakai komputer justru menjadi orang bodoh
  • Kekayaan sejati adalah sama sekali tidak menggunakan komputer