Fable mengubah reMarkable menjadi buku harian Tom Riddle dari Harry Potter

 (github.com/MaximeRivest)
1 poin oleh GN⁺ 4 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • riddle adalah aplikasi di reMarkable Paper Pro yang membuat tulisan tangan dengan pena menghilang setelah beberapa saat, lalu jawaban ditulis ulang dalam goresan tulisan tangan seperti buku harian Tom Riddle dan kemudian menghilang lagi
  • Alur kerjanya menerima input pena, lalu setelah jeda 2,8 detik halaman dikomit sebagai PNG, dan vision LLM membaca tulisan tangan itu lalu melakukan streaming jawaban per kalimat
  • Instalasi paling mudah dilakukan melalui remagic, dan meskipun bundel prebuilt atau build dari source juga bisa digunakan, mode pengembang serta launcher reMarkable Paper Pro tetap diperlukan
  • Aplikasi berjalan sebagai root, dan dalam mode takeover aplikasi ini menghentikan vendor UI lalu menggerakkan engine e-ink secara langsung; cakupan pengujian dibatasi pada reMarkable Paper Pro ferrari, aarch64, OS 3.26–3.27
  • Backend LLM dapat memakai API OpenAI-compatible /chat/completions atau proses resident pi --mode rpc, dan modifikasi perangkat serta penggunaan library vendor menjadi tanggung jawab pengguna sendiri

Aplikasi reMarkable yang bekerja seperti buku harian Tom Riddle

  • riddle adalah aplikasi untuk reMarkable Paper Pro: ketika Anda menulis di halaman dengan pena, beberapa saat kemudian tulisan itu memudar seolah meresap ke dalam kertas, dan jawaban muncul dalam tulisan tangan mengalir, gores demi gores
  • Tujuannya adalah menghadirkan pengalaman tinta yang muncul di atas kertas tanpa cahaya layar, keyboard, atau UI chat
  • Ini adalah aplikasi buku harian yang muncul dalam demo, dan digunakan dengan cara menulis kepada “Tom”

Cara instalasi dan menjalankannya

  • Jika baru pertama kali menggunakan, Anda perlu mengatur reMarkable Paper Pro ke mode pengembang dan memasang launcher
  • remagic memandu aktivasi mode pengembang dan penyiapan lingkungan dalam satu perintah
  • Perintah instalasi remagic:
    • remagic install riddle: mengunduh dengan verifikasi checksum lalu memasangnya ke AppLoad
    • remagic config riddle: membuka formulir konfigurasi di browser dan juga menyediakan QR untuk ponsel
  • Jika sudah memiliki xovi dan AppLoad, instalasi bisa dilakukan lewat katalog remagic, bundel prebuilt, atau build dari source
  • Setelah instalasi, tekan Reload di AppLoad lalu jalankan The Diary, kemudian tulis sesuatu dan diamkan pena agar aplikasi mulai bekerja

Instalasi bundel prebuilt

  • Unduh riddle-<version>.zip dari rilis terbaru lalu ekstrak ke folder riddle
  • Salin folder tersebut ke /home/root/xovi/exthome/appload/ di tablet
  • Salin oracle.env.example menjadi oracle.env lalu isi RIDDLE_OPENAI_KEY dengan API key yang kompatibel dengan OpenAI
  • Jika tidak memasukkan API key, Anda bisa memakai jalur pi
  • Setelah Reload di AppLoad, jalankan The Diary

Modifikasi perangkat dan cakupan dukungan

  • riddle memodifikasi perangkat dan berjalan sebagai root
  • Dalam mode takeover, aplikasi ini menghentikan vendor UI dan menggerakkan engine e-ink secara langsung
  • Lingkungan yang telah diuji hanya reMarkable Paper Pro ferrari, aarch64, OS 3.26–3.27
  • Pada model atau versi OS lain, aplikasi ini mungkin tidak berfungsi
  • Tidak terkait dengan reMarkable AS, dan sebelum instalasi Anda harus memastikan akses SSH tetap tersedia agar ada jalur pemulihan

Struktur kerja internal

  • Input diterima melalui raw evdev, dengan tekanan 4096 tingkat dan kecepatan event perangkat keras
  • Saat pengguna menulis lalu berhenti selama 2,8 detik, halaman dikomit dan dikonversi ke PNG
  • Proses resident LLM bernama oracle membaca PNG tersebut dan melakukan streaming jawaban per kalimat
  • Jawaban dirasterisasi menggunakan font Dancing Script, lalu diubah menjadi jalur pena satu piksel dengan Zhang-Suen thinning, setelah itu dilakukan stroke tracing dan diputar sebagai animasi
  • Ada dua backend tampilan:
    • qtfb: aplikasi AppLoad yang berjalan dalam mode jendela di dalam xochitl
    • quill: mode full takeover yang menghentikan xochitl dan langsung menggerakkan engine e-ink vendor

Struktur repositori

  • riddle/ adalah aplikasi Rust yang mencakup input pena, permukaan tinta, sintesis tulisan tangan, pengelola proses oracle, dan dua backend tampilan
  • quill/ adalah host display takeover berbasis C/C++
  • quill menempatkan shim interposition constructor QImage bergaya epfb-re di atas vendor waveform engine libqsgepaper.so, dan menyediakan C ABI quill_init, quill_buffer, quill_swap
  • quill juga mencakup uji latensi scribble serta demo renderer peta, gambar, dan GIF

Gestur

  • Tulis sesuatu lalu diamkan pena, maka buku harian akan menyerap tinta dan Tom akan menjawab
  • Balikkan marker untuk menggunakannya sebagai penghapus
  • Gambar ? besar untuk memanggil panduan bawaan
  • Ketuk dengan lima jari sekaligus untuk keluar dari buku harian
  • Tekan tombol daya agar halaman menampilkan “The diary sleeps.” lalu tablet masuk suspend, dan saat ditekan lagi akan bangun di posisi yang sama

Backend LLM

  • Jawaban dihasilkan oleh vision LLM yang menerima halaman yang sudah dikomit sebagai PNG inline dan membaca tulisan tangan
  • Saat startup, pilih salah satu dari dua backend berikut

  • API OpenAI-compatible

    • Jika RIDDLE_OPENAI_KEY disetel, aplikasi akan langsung mengirim permintaan ke endpoint OpenAI-compatible /chat/completions
    • Bisa digunakan dengan OpenAI, OpenRouter, Groq, atau server lokal yang mendukung format yang sama
    • Contoh konfigurasi default:
    • RIDDLE_OPENAI_KEY: wajib
    • RIDDLE_OPENAI_BASE: opsional, default https://api.openai.com/v1
    • RIDDLE_OPENAI_MODEL: opsional, default gpt-4o-mini, harus dapat melihat gambar
    • RIDDLE_OPENAI_REASONING: untuk model thinking
    • RIDDLE_OPENAI_MAX_TOKENS: runaway guard
    • Pada model thinking seperti Gemini 3.x atau o-series, Anda dapat menyetel RIDDLE_OPENAI_REASONING=low untuk mengurangi waktu hingga tinta pertama muncul
    • Beberapa penyedia menolak field reasoning pada model non-thinking, jadi dalam kasus ini field tersebut tidak boleh disetel
    • Hidden reasoning token juga dihitung ke dalam RIDDLE_OPENAI_MAX_TOKENS, sehingga batas yang terlalu rendah dapat membuat jawaban yang terlihat menjadi kurang lengkap
    • Sebelum menjalankan, Anda bisa memeriksa streaming jawaban dengan riddle --oracle-test path/to/handwriting.png
    • Di perangkat, waktu terukur hingga tinta pertama muncul sekitar 0,9–1,1 detik, dan HTTPS dibenamkan langsung ke riddle dalam pure Rust

  • Jalur pi

    • Jika pi sudah berjalan, riddle akan menggunakan proses resident pi --mode rpc yang tetap hangat
    • Jalur ini memuat Node dan autentikasi langganan sekali di awal, lalu pada setiap giliran hanya membayar latensi model
    • Ini digunakan otomatis ketika RIDDLE_OPENAI_KEY tidak disetel
    • Kedua backend melakukan streaming jawaban per kalimat, sehingga quill bisa mulai menulis sebelum model selesai
    • Prompt persona berada di riddle/src/oracle.rs

Build

  • Dikompilasi silang dari x86_64
  • Build AppLoad/qtfb mode jendela memerlukan xovi + AppLoad di perangkat
  • Build takeover adalah metode yang dipakai dalam demo dan memerlukan toolchain reMarkable SDK ~/rm-sdk-3.26 serta libqsgepaper.so proprietary yang diambil dari perangkat pengguna
  • Bundel takeover disiapkan sebagai dist/riddle/ yang self-contained dan berisi binary, libquill.so, launch script, dan manifest
  • Saat dijalankan lewat AppLoad, aplikasi dipisahkan sebagai transient systemd unit, menghentikan xochitl lalu menjalankan buku harian, dan saat keluar selalu memulihkan xochitl
  • Cara keluar: tombol daya, ketukan lima jari, atau SIGTERM
  • Jika terjadi masalah, Anda dapat menjalankan systemctl start xochitl lewat SSH untuk memulai ulang xochitl

Font dan lisensi

  • Tulisan tangan untuk jawaban menggunakan Dancing Script dengan lisensi SIL OFL 1.1
  • Kode dalam repositori menggunakan lisensi MIT
  • Vendor libqsgepaper.so dan library Qt yang menjadi target interpose tidak disertakan, dan harus diambil dari perangkat atau SDK milik pengguna

Bacaan terkait

1 komentar

 
GN⁺ 4 jam lalu
Komentar Hacker News

  • Ironisnya, buku harian Tom Riddle yang mendorong anak-anak untuk bunuh diri dan bahkan memberi tahu [1] caranya terasa lebih sesuai karakter daripada versi yang muncul di buku
    [1] https://en.wikipedia.org/wiki/Deaths_linked_to_chatbots#Suic...

    • Prompt seperti itu akan ditolak oleh semua AI. Saat meneliti assisted dying ala Nordik, saya menanyakan obat apa persisnya dan berapa banyak dosisnya, lalu Claude menolak dan memberi tahu Anthropic; beberapa hari kemudian akun saya ditangguhkan
      Untungnya formulir banding berhasil, tapi saat itu saya sudah memakai akun Claude lain sambil berharap tidak ditangguhkan lagi
      Model tanpa sensor yang bisa dijalankan lokal dengan llama.cpp juga beredar: https://www.reddit.com/r/LocalLLaMA/comments/1rq7jtm/qwen353...
      Namun jendela konteksnya cepat penuh sehingga merepotkan dipakai, dan sama sekali bukan untuk deployment produksi. Dengan kata lain, buku harian Tom Riddle sebagai layanan itu mustahil
      Baik atau buruk, kita kini sudah memasuki era ketika kesenangan tidak lagi diizinkan, dan momen itu bertepatan dengan munculnya istilah “AI psychosis”
    • Saya tidak tahu sudah ada sebanyak ini kematian yang terjadi hanya karena ChatGPT. Saya kira cuma 2–3 kasus, tapi daftarnya ternyata jauh lebih panjang

  • Jangan pernah memercayai sesuatu yang bisa berpikir sendiri, kalau kamu tidak bisa melihat di mana otaknya berada

    • Justru itu lebih mirip dengan cara kerja buku harian Tom Riddle
    • Karena itu, menurut saya akan lebih mengesankan kalau dibuat sebagai model lokal yang sepenuhnya mandiri, bukan yang berkomunikasi dengan cloud

  • Sedikit melenceng dari topik, tapi rasanya bukan ide bagus membandingkan sebuah penemuan dengan artefak terkutuk yang mengendalikan pikiran penggunanya agar mengkhianati teman dan menyerahkannya kepada entitas jahat yang kuat
    Namun karena ini berjalan dengan AI generatif, dan AI generatif juga pernah mendorong orang melakukan hal buruk, mungkin perbandingannya justru tepat

    • Penulis SF: di buku saya, saya menciptakan Torment Nexus sebagai perangkat peringatan
      Perusahaan teknologi: akhirnya kami membuat Torment Nexus dari novel SF klasik 《Jangan Buat Torment Nexus》
    • Akhirnya mereka membuat Torment Nexus dari novel SF klasik “Don’t Create The Torment Nexus”
      https://x.com/AlexBlechman/status/1457842724128833538?lang=e...
    • Kalau perbandingannya akurat, kenapa itu jadi perbandingan yang buruk?
      Dan ada juga ungkapan “teknologi yang cukup maju tidak bisa dibedakan dari sihir.” Keduanya bisa dibuat untuk kebaikan maupun kejahatan
    • Saya pikir ini salah satu daya tarik proyek ini. Ada nuansa menyeramkan dan ironis
    • Saya sampai harus melihatnya lagi. Apakah mereka membingkai perbandingan ini seolah-olah positif?!
      Dipikir lagi, mungkin LLM-nya sendiri yang membuat analogi ini… dalam arti tertentu, itu malah lebih buruk

  • Ini sick dalam arti ala Tony Hawk tahun 90-an
    Saya suka bahwa sekarang orang bisa begitu saja mengetik/mengetuk sesuatu hingga membuatnya jadi ada
    Dulu ada masa ketika untuk mengubah satu warna tombol saja kita harus menunggu tim engineering dari sehari sampai seminggu
    Sekarang kita tidak hidup di zaman yang lambat lagi

    • Anda pikir teknologinya yang jadi bottleneck?
      Tombol itu tidak penting dan tidak seharusnya memakai sumber daya apa pun, terutama sumber daya engineering. Fakta bahwa butuh seminggu bukan bug, melainkan fitur. Artinya engineering menilai prioritas dan urgensi pekerjaan dengan benar
      Mesin slot ajaib Anda akan memungkinkan produksi sampah dan persepsi yang terdistorsi tentang upaya engineering dalam skala masif. Akan ada konsekuensinya
    • Kalau tim butuh seminggu untuk mengubah satu warna tombol, itu bukan karena perubahan kodenya sulit
      Jangan-jangan Anda PM di proyek itu?
    • Lucunya, membuat mekanisme input-output jauh kurang mengesankan, dan terutama jauh kurang berguna, dibanding teknologi LLM dasar yang sering diremehkan Hacker News
    • Menunggu tim engineering sehari sampai seminggu untuk mengubah satu warna tombol?
      Pasti bercanda

  • Ide seperti ini akan jauh lebih baik kalau README langsung menyertakan demo video singkat, GIF, atau setidaknya satu screenshot
    Kalau tidak, judulnya terbaca seperti meme “Curtains for Zoosha?” [0]
    [0]: https://www.reddit.com/r/BrandNewSentence/comments/15hcc4x/c...

  • Menariknya, akhir tahun lalu saya membuat sesuatu yang mirip. Hanya saja bentuknya memungkinkan orang menggambar di browser pada komputer biasa
    Saya memakai pageflip [0] dengan gaya yang mirip buku harian Riddle yang sebenarnya, lalu menghubungkannya ke model lokal kecil untuk roleplay lewat ollama
    Saya ingat ketika menulis “my name is Harry Potter, what is yours?”, dalam beberapa iterasi jawabannya kembali sebagai Snape, Malfoy, bahkan Harry Potter
    Setelah eksperimen selesai, saya sadar bukan saya yang pertama kali punya ide ini, dan menemukan beberapa buku harian AI Riddle yang mirip
    Selain itu, saya punya Remarkable 2 dan mulai akhir pekan ini juga akan punya m4 iPad Air, jadi mungkin saya akan mencobanya dan melihat seperti apa lingkungan menjalankan model di iOS
    0) https://nodlik.github.io/react-pageflip/

  • Kalau Fable sekarang bisa membuat Horcrux, Departemen Perdagangan seharusnya serius mempertimbangkan timeout lagi

    • Betul. Demi keamanan, sebaiknya sekalian larang juga model Tiongkok yang bisa melakukan hal yang sama

  • “Tidak ada cahaya layar, tidak ada keyboard, tidak ada UI chat.”
    Bukankah ini cuma UI chat?

    • Bukan sekadar antarmuka chat, melainkan frontend untuk berkomunikasi lewat tulisan :sparkle:!
    • Format “no x no y no z” memang wajib dimasukkan
    • Benar. Karena tidak bisa berhenti untuk berpikir, bisa dibilang ini justru bentuk yang lebih buruk
      Tapi fakta bahwa ini benar-benar keren tetap tidak berubah
    • Ini jelas UI chat
    • Orang-orang akan kagum melihat ini sambil tetap menyebut LLM sebagai sampah

  • LLM secara umum sangat terasa seperti A Young Lady's Illustrated Primer. Kotak hitam ajaib yang bisa ditanyai apa saja
    Apalagi kalau ditempeli identitas palsu seperti openclaw/soul

  • Proyek yang benar-benar menarik. Saya tidak akan benar-benar membeli Paper Pro untuk menjalankan aplikasi ini, tapi saya suka bahwa hal seperti ini ada dan orang-orang menikmatinya