Open-Interface: Mengontrol komputer dengan LLM

• Dapat mengontrol komputer menggunakan kunci API OpenAI.
  • Jika diinginkan, bisa menggunakan LLM lain. Bisa juga memanfaatkan LiteLLM.
• Dapat berkomunikasi dengan LLM dan meniru instruksinya (input mouse/keyboard).
• Contoh:
  • "Tolong selesaikan teka-teki kata hari ini."
  • "Buka Google Docs lalu susunkan menu makan siang untukku."
  • "Tolong buatkan coding aplikasi web."
• Instruksi yang dapat menyebabkan malfungsi:
  • Penalaran spasial
    • Manipulasi spreadsheet
  • Aplikasi GUI kompleks yang sangat bergantung pada kursor mouse
• Rencana:
  • "Tolong buatkan beberapa sampel gitar bas dengan Garage Band."
  • "Cari tahu selera musik teman-temanku lewat Sportify lalu buatkan daftar putar untuk pesta malam ini."
• Bergantung pada LLM, biayanya diperkirakan sekitar $0.0005 - $0.002.
• Dapat dihentikan dengan menekan tombol 'Stop' atau memindahkan kursor ke sudut layar.
• Jika menggunakan banyak monitor, hanya dapat beroperasi di dalam layar utama.