Ghostwriter yang memanfaatkan reMarkable2 sebagai antarmuka vision-LLMs

• Eksperimen yang mengenali tulisan tangan di remarkable2, merespons berdasarkan gestur atau konten di layar, lalu menulis kembali ke layar
  • Proyek yang mengeksplorasi interaksi antara tulisan tangan dan layar

Pengaturan/Instalasi

• Perlu mengatur variabel lingkungan seperti OPENAI_API_KEY.
• Perlu memasang dan menjalankan biner di remarkable.

Cara penggunaan

• ghostwriter harus dijalankan di remarkable.
• Gambar sesuatu di layar, lalu sentuh kanan atas untuk mengaktifkan fungsi bantuan.
• Selama pemrosesan, titik-titik akan digambar, dan Anda dapat melihat respons yang diketik atau digambar.

Status / Catatan perkembangan

• 2024-10-06: Proof of concept dasar selesai. Fitur menggambar kembali ke layar belum bekerja dengan baik.
• 2024-10-07: Gestur dasar dan indikator status diimplementasikan.
• 2024-10-10: Mulai menyiapkan keyboard virtual.
• 2024-10-20: Output teks dan mode lainnya diperkenalkan.
• 2024-10-21: Build rilis biner selesai.
• 2024-10-23: Refactoring kode dan rencana pengujian model Anthropic baru.
• 2024-11-02: Beralih ke penyediaan tool.
• 2024-11-07: Menambahkan Claude/Anthropic.
• 2024-11-22: Mulai membuat sketsa sistem evaluasi.
• 2024-12-02: Menambahkan tahap segmentasi gambar dasar.
• 2024-12-15: Integrasi engine.
• 2024-12-18: Menyelesaikan masalah upgrade sistem.
• 2024-12-19: Mencoba mode VLM di jaringan lokal.
• 2024-12-22: Mulai membangun sistem evaluasi.
• 2024-12-25: Menyederhanakan dan memperluas CLI.
• 2024-12-28: Peningkatan usability.

Ide

• Memicu permintaan lewat gestur atau konten.
• Memasukkan screenshot ke model vision, lalu menampilkan hasilnya di layar.
• Dapat mengirim event keyboard.
• Membangun sistem evaluasi dasar.
• Mengembangkan library prompt.
• Mengotomatiskan pengaturan awal.
• Menambahkan fitur pembuatan diagram.
• Menambahkan fungsi pencarian dan pengiriman informasi eksternal.
• Mengimplementasikan mode percakapan.
• Mencoba penggunaan VLM lokal di jaringan.

Referensi

• Memanfaatkan sumber daya dari Awesome reMarkable.
• Menerapkan teknik tangkapan layar dari reSnap.
• Mendapat inspirasi menggambar layar dari rmkit lamp.
• Menggunakan resvg untuk mengonversi SVG ke png.
• Menggunakan rM-input-devices untuk membuat perangkat input keyboard.
• Menemukan alur OCR→OpenAI→PDF→Device di reMarkableAI.
• rMAI adalah aplikasi terpisah yang menggunakan replicate sebagai layanan API model.
• Crazy Cow adalah tool yang mengubah teks menjadi sapuan pena.

[GN⁺]

Komentar Hacker News

• Saya pembuat proyek ini. Proyek ini masih terus berjalan, dan wawasan terbesar adalah keterbatasan kesadaran spasial pada model visual

  • Anda bisa melihat contoh evaluasi dasar di https://github.com/awwaiid/ghostwriter/blob/main/evaluation_results/2024-12-29_21-05-47/results.md
  • Tujuan berikutnya adalah terus membangun dan mengekstrak dengan framework/alat agen yaml+shellscript
  • Terus mengeksplorasi pra-segmentasi atau metode lain untuk kesadaran spasial
  • Menulis backend reSvg yang mengirim stroke pena sungguhan alih-alih banyak titik

• Keren sekali. Senang melihat orang-orang mengutak-atik aplikasi untuk tablet reMarkable

  • Saya juga membuat aplikasi kecil untuk reMarkable, dan belum lama ini membagikannya di sini: https://digest.ferrucc.io/

• Andai tablet reMarkable tidak terlalu terkunci

  • Ini salah satu perangkat keras favorit saya, dan saya berharap ada lebih banyak aplikasi untuknya

• Keren

  • Saya sudah ingin mencoba mengimplementasikan ini selama beberapa bulan. Kerja bagus sekali

• Keren sekali. Saya akan mencobanya akhir pekan ini

  • Saya sempat memainkan ide untuk mengirim PDF lewat email lalu meneruskannya ke LLM agar otomatis membuat tugas saat saya menulis to-do
  • Proyek ini membuka cara yang lebih baik untuk mencapai tujuan itu secara real time

• Untuk para pembaca dokumen PDF, saya penasaran apakah ukuran 11 inci reMarkable sudah cukup

  • Saya punya Sony DPT generasi ke-2 ukuran 13 inci, dan pengalaman membacanya sempurna
  • Namun proyek-proyek seperti ini terus menarik saya ke produk reMarkable

• Saya suka proyek ini. Ada model difusi vektor; kalau model memutuskan untuk menggambar sesuatu, bagaimana kalau pekerjaan itu dialihdayakan melalui pemanggilan alat?

  • Lalu Anda bisa menentukan rentang koordinat dan prompt

• Kasus penggunaan yang menggabungkan input tulisan tangan dan LLM ini luar biasa

  • Saya penasaran seberapa baik ia menangani tulisan tangan yang berantakan, dan apakah fine-tuning pada catatan pribadi bisa meningkatkan pengenalan seiring waktu

• Saya memiliki tablet boox (tablet Android penuh dengan layar eink), dan hal seperti ini akan sangat cocok

  • Saya penasaran apakah dalam 5 tahun perangkat keras mobile bisa mendukung ini secara lokal

• Bagaimana dengan proyek ini di pembaca ebook Android-based Onyx Boox?

  • Apakah mungkin?