macOSPilot - CoPilot suara+visi untuk macOS

• Asisten AI berbasis suara dan visi yang dapat digunakan di semua aplikasi di macOS
• Tekan pintasan lalu ajukan pertanyaan dengan suara, dan jawaban suara akan diberikan berdasarkan konteks saat ini
  • Membuat tangkapan layar jendela saat ini lalu mengirimkannya ke OpenAI GPT Vision
  • Pertanyaan didiktekan menggunakan OpenAI Whisper API lalu dikirim bersama dalam bentuk teks
  • Jawaban teks yang diterima diubah menjadi suara menggunakan OpenAI TTS lalu diputar
• Dikembangkan dengan NodeJS/Electron
• Pintasan bawaan adalah Cmd + Shift + '

[GN⁺]

Komentar Hacker News

• Pertanyaan apakah lebih baik menggunakan istilah "macOS" alih-alih "OSX" dalam prompt, atau apakah pemilihan awal itu tidak terlalu dipikirkan.

  • Penulis komentar menyampaikan rasa penasaran setelah menelusuri video.
  • Menyediakan tautan kode terkait.

• Menyarankan untuk menambahkan opsi teks streaming sebagai pengganti TTS.

  • Menyarankan agar penggunaan teks juga dipertimbangkan alih-alih perintah suara.
  • Membagikan pengalaman lama mencoba asisten serupa, lalu mengusulkan untuk berhubungan lewat Discord.

• Menyebut pernah menulis skrip serupa untuk konfigurasi Linux.

  • Terhubung dengan shortcut keyboard XFCE.
  • Menyebut skrip itu jarang digunakan.

• Merekomendasikan untuk menetapkan batas pengeluaran saat menggunakan OpenAI API.

  • Memperingatkan bahwa perbedaan biaya antara model teks dan model visi bisa cepat terasa.
  • Memastikan bahwa harganya mirip dan memberi penilaian positif.

• Respons positif terhadap proyek ini.

  • Menyebut screenshot tampaknya akan membantu memperjelas bagian yang membingungkan.
  • Bertanya apakah ada cara menyembunyikan jendela saat tidak digunakan.

• Bertanya apakah ada rencana membuat proyek ini bekerja dengan local LLMs, bukan "open"AI.

• Berpendapat ingin membangun sesuatu yang terintegrasi langsung ke terminal itu sendiri.

  • Menyebut bekerja langsung di terminal lebih sederhana daripada mengandalkan screenshot.
  • Memberikan contoh kode dengan format memberi perintah kepada AI dari terminal.
  • Mengeluhkan sulitnya meluangkan waktu di tengah keseharian yang sibuk.

• Reaksi negatif terhadap informasi bahwa "macOSpilot menggunakan NodeJS/Electron".

• Membagikan pengalaman menggunakannya bersama digital audio workstation Ableton Live.

  • Menilai ini sangat berguna dan tampaknya bisa menghemat waktu.
  • Menyediakan tautan video interaksi.
  • Mempertanyakan komentar-komentar negatif.

• Membagikan bayangan tentang produktivitas saat menunggu hasil perintah ls.