Mengubah reMarkable menjadi buku harian Tom Riddle dari Harry Potter dengan Fable

 (github.com/MaximeRivest)
4 poin oleh GN⁺ 4 hari lalu | 1 komentar | Bagikan ke WhatsApp
  • riddle adalah aplikasi di reMarkable Paper Pro yang membuat tulisan tangan yang ditulis dengan pena menghilang sesaat kemudian, lalu jawaban ditulis kembali dengan goresan tulisan tangan seperti buku harian Tom Riddle sebelum akhirnya menghilang
  • Alur kerjanya menerima input pena, lalu setelah jeda 2,8 detik halaman dikomit sebagai PNG, dan vision LLM membaca tulisan tangan lalu men-stream jawaban per kalimat
  • Pemasangan paling mudah dilakukan melalui remagic, dan meski pemasangan bundel pra-build atau build dari source juga dimungkinkan, tetap dibutuhkan mode pengembang dan launcher di reMarkable Paper Pro
  • Aplikasi berjalan sebagai root, dan dalam mode takeover UI vendor dihentikan lalu mesin e-ink dijalankan langsung; cakupan pengujian dibatasi pada reMarkable Paper Pro ferrari, aarch64, OS 3.26–3.27
  • Backend LLM dapat memakai API OpenAI-compatible /chat/completions atau proses resident pi --mode rpc, dan modifikasi perangkat serta penggunaan library vendor menjadi tanggung jawab pengguna sendiri

Aplikasi reMarkable yang bekerja seperti buku harian Tom Riddle

  • riddle adalah aplikasi untuk reMarkable Paper Pro: saat menulis di halaman dengan pena, beberapa saat kemudian tulisan itu memudar seolah meresap ke kertas, dan jawaban muncul per goresan dalam tulisan tangan yang mengalir
  • Tujuannya adalah menghadirkan pengalaman tinta muncul di atas kertas tanpa cahaya layar, keyboard, atau UI chat
  • Ini adalah aplikasi buku harian yang tampil di demo, digunakan dengan menulis kepada “Tom”

Cara instalasi dan menjalankan

  • Untuk penggunaan pertama, reMarkable Paper Pro harus diatur ke mode pengembang dan launcher perlu dipasang
  • remagic memandu aktivasi mode pengembang dan penyiapan lingkungan dengan satu perintah
  • Perintah instalasi remagic:
    • remagic install riddle: mengunduh dengan verifikasi checksum lalu memasang ke AppLoad
    • remagic config riddle: membuka formulir konfigurasi di browser dan juga menyediakan QR untuk ponsel
  • Jika xovi dan AppLoad sudah ada, pemasangan bisa dilakukan lewat katalog remagic, bundel pra-build, atau build dari source
  • Setelah instalasi, tekan Reload di AppLoad lalu jalankan The Diary, tulis sesuatu, dan diamkan pena agar aplikasi bekerja

Instalasi bundel pra-build

  • Unduh riddle-<version>.zip dari rilis terbaru lalu ekstrak ke folder riddle
  • Salin folder tersebut ke /home/root/xovi/exthome/appload/ di tablet
  • Salin oracle.env.example menjadi oracle.env lalu isi RIDDLE_OPENAI_KEY dengan API key OpenAI-compatible
  • Jika API key tidak diisi, jalur pi bisa digunakan
  • Setelah Reload di AppLoad, jalankan The Diary

Modifikasi perangkat dan cakupan dukungan

  • riddle memodifikasi perangkat dan berjalan sebagai root
  • Dalam mode takeover, UI vendor dihentikan dan mesin e-ink dijalankan langsung
  • Lingkungan yang diuji hanya reMarkable Paper Pro ferrari, aarch64, OS 3.26–3.27
  • Pada model atau versi OS lain, aplikasi mungkin tidak berjalan
  • Tidak berafiliasi dengan reMarkable AS, dan sebelum memasang sebaiknya akses SSH tetap tersedia agar ada jalur pemulihan

Struktur kerja internal

  • Input diterima melalui raw evdev, menggunakan 4096 tingkat tekanan dan laju event perangkat keras
  • Saat pengguna menulis lalu berhenti selama 2,8 detik, halaman dikomit dan diubah menjadi PNG
  • oracle, proses LLM resident, membaca PNG dan men-stream jawaban per kalimat
  • Jawaban dirasterisasi dengan font Dancing Script, lalu diubah menjadi jalur pena satu piksel dengan Zhang-Suen thinning, kemudian dilacak per goresan dan diputar sebagai animasi
  • Ada dua backend tampilan
    • qtfb: aplikasi AppLoad yang berjalan dalam mode jendela di dalam xochitl
    • quill: mode full takeover yang menghentikan xochitl dan menjalankan langsung mesin e-ink vendor

Susunan repositori

  • riddle/ adalah aplikasi Rust yang mencakup input pena, permukaan tinta, sintesis tulisan tangan, manajer proses oracle, dan dua backend tampilan
  • quill/ adalah host display takeover berbasis C/C++
  • quill menempatkan shim interposition constructor QImage bergaya epfb-re di atas waveform engine vendor libqsgepaper.so, dan menyediakan C ABI quill_init, quill_buffer, quill_swap
  • quill juga menyertakan uji latensi scribble serta demo renderer peta, gambar, dan GIF

Gestur

  • Tulis sesuatu lalu diamkan pena, maka buku harian akan menyerap tinta dan Tom akan menjawab
  • Balik marker untuk menggunakannya sebagai penghapus
  • Gambar ? besar untuk memanggil panduan bawaan
  • Ketuk dengan lima jari sekaligus untuk keluar dari buku harian
  • Tekan tombol daya agar halaman menampilkan “The diary sleeps.” lalu tablet masuk suspend, dan saat ditekan lagi akan bangun dari posisi yang sama

Backend LLM

  • Jawaban dihasilkan oleh vision LLM yang menerima halaman yang sudah dikomit sebagai inline PNG dan membaca tulisan tangan
  • Saat mulai, salah satu dari dua backend dipilih

  • API OpenAI-compatible

    • Jika RIDDLE_OPENAI_KEY disetel, permintaan dikirim langsung ke endpoint OpenAI-compatible /chat/completions
    • Berjalan dengan target yang mendukung format yang sama seperti OpenAI, OpenRouter, Groq, atau server lokal
    • Contoh konfigurasi default:
    • RIDDLE_OPENAI_KEY: wajib
    • RIDDLE_OPENAI_BASE: opsional, default https://api.openai.com/v1
    • RIDDLE_OPENAI_MODEL: opsional, default gpt-4o-mini, harus bisa melihat gambar
    • RIDDLE_OPENAI_REASONING: untuk model thinking
    • RIDDLE_OPENAI_MAX_TOKENS: pengaman runaway
    • Pada model thinking seperti Gemini 3.x atau o-series, RIDDLE_OPENAI_REASONING=low bisa disetel untuk mengurangi waktu hingga tinta pertama muncul
    • Beberapa penyedia menolak field reasoning pada model non-thinking, jadi dalam kasus seperti itu jangan disetel
    • Hidden reasoning token juga dihitung dalam RIDDLE_OPENAI_MAX_TOKENS, jadi batas yang terlalu rendah bisa membuat jawaban yang terlihat menjadi kurang
    • Sebelum menjalankan, Anda bisa memeriksa jawaban streaming dengan riddle --oracle-test path/to/handwriting.png
    • Waktu terukur hingga tinta pertama muncul di perangkat sekitar 0,9–1,1 detik, dan HTTPS tertanam di riddle sebagai pure-Rust

  • Jalur pi

    • Jika pi sudah berjalan, riddle akan memakai proses resident pi --mode rpc yang tetap hangat
    • Jalur ini memuat Node dan autentikasi langganan satu kali, lalu pada setiap giliran hanya menanggung latensi model
    • Digunakan otomatis saat RIDDLE_OPENAI_KEY tidak disetel
    • Kedua backend men-stream jawaban per kalimat, sehingga quill bisa mulai menulis sebelum model selesai
    • Prompt persona ada di riddle/src/oracle.rs

Build

  • Dilakukan cross-compile dari x86_64
  • Build AppLoad/qtfb mode jendela memerlukan xovi + AppLoad di perangkat
  • Build takeover adalah metode yang dipakai dalam demo dan memerlukan toolchain reMarkable SDK ~/rm-sdk-3.26 serta libqsgepaper.so proprietary yang diambil dari perangkat pengguna
  • Bundel takeover di-stage sebagai dist/riddle/ self-contained yang berisi binary, libquill.so, launch script, dan manifest
  • Saat dijalankan melalui AppLoad, aplikasi dipisahkan dalam transient systemd unit, menghentikan xochitl lalu menjalankan buku harian, dan saat keluar selalu memulihkan xochitl
  • Cara keluar: tombol daya, ketukan lima jari, atau SIGTERM
  • Jika terjadi masalah, Anda dapat menjalankan systemctl start xochitl lewat SSH untuk memulai ulang xochitl

Font dan lisensi

  • Tulisan tangan jawaban menggunakan Dancing Script dengan lisensi SIL OFL 1.1
  • Kode di repositori berlisensi MIT
  • libqsgepaper.so vendor dan library Qt sebagai target interpose tidak disertakan, dan harus diambil dari perangkat atau SDK milik pengguna

Bacaan terkait

1 komentar

 
GN⁺ 4 hari lalu
Komentar Hacker News

  • Ironisnya, buku harian Tom Riddle yang mendorong anak-anak untuk bunuh diri dan bahkan memberi tahu [1] caranya terasa lebih sesuai karakter daripada versi yang muncul di buku
    [1] https://en.wikipedia.org/wiki/Deaths_linked_to_chatbots#Suic...

    • Prompt seperti itu akan ditolak oleh semua AI. Saat meneliti assisted dying ala Nordik, saya menanyakan obat apa persisnya dan berapa banyak dosisnya, lalu Claude menolak dan memberi tahu Anthropic; beberapa hari kemudian akun saya ditangguhkan
      Untungnya formulir banding berhasil, tapi saat itu saya sudah memakai akun Claude lain sambil berharap tidak ditangguhkan lagi
      Model tanpa sensor yang bisa dijalankan lokal dengan llama.cpp juga beredar: https://www.reddit.com/r/LocalLLaMA/comments/1rq7jtm/qwen353...
      Namun jendela konteksnya cepat penuh sehingga merepotkan dipakai, dan sama sekali bukan untuk deployment produksi. Dengan kata lain, buku harian Tom Riddle sebagai layanan itu mustahil
      Baik atau buruk, kita kini sudah memasuki era ketika kesenangan tidak lagi diizinkan, dan momen itu bertepatan dengan munculnya istilah “AI psychosis”
    • Saya tidak tahu sudah ada sebanyak ini kematian yang terjadi hanya karena ChatGPT. Saya kira cuma 2–3 kasus, tapi daftarnya ternyata jauh lebih panjang

  • Jangan pernah memercayai sesuatu yang bisa berpikir sendiri, kalau kamu tidak bisa melihat di mana otaknya berada

    • Justru itu lebih mirip dengan cara kerja buku harian Tom Riddle
    • Karena itu, menurut saya akan lebih mengesankan kalau dibuat sebagai model lokal yang sepenuhnya mandiri, bukan yang berkomunikasi dengan cloud

  • Sedikit melenceng dari topik, tapi rasanya bukan ide bagus membandingkan sebuah penemuan dengan artefak terkutuk yang mengendalikan pikiran penggunanya agar mengkhianati teman dan menyerahkannya kepada entitas jahat yang kuat
    Namun karena ini berjalan dengan AI generatif, dan AI generatif juga pernah mendorong orang melakukan hal buruk, mungkin perbandingannya justru tepat

    • Penulis SF: di buku saya, saya menciptakan Torment Nexus sebagai perangkat peringatan
      Perusahaan teknologi: akhirnya kami membuat Torment Nexus dari novel SF klasik 《Jangan Buat Torment Nexus》
    • Akhirnya mereka membuat Torment Nexus dari novel SF klasik “Don’t Create The Torment Nexus”
      https://x.com/AlexBlechman/status/1457842724128833538?lang=e...
    • Kalau perbandingannya akurat, kenapa itu jadi perbandingan yang buruk?
      Dan ada juga ungkapan “teknologi yang cukup maju tidak bisa dibedakan dari sihir.” Keduanya bisa dibuat untuk kebaikan maupun kejahatan
    • Saya pikir ini salah satu daya tarik proyek ini. Ada nuansa menyeramkan dan ironis
    • Saya sampai harus melihatnya lagi. Apakah mereka membingkai perbandingan ini seolah-olah positif?!
      Dipikir lagi, mungkin LLM-nya sendiri yang membuat analogi ini… dalam arti tertentu, itu malah lebih buruk

  • Ini sick dalam arti ala Tony Hawk tahun 90-an
    Saya suka bahwa sekarang orang bisa begitu saja mengetik/mengetuk sesuatu hingga membuatnya jadi ada
    Dulu ada masa ketika untuk mengubah satu warna tombol saja kita harus menunggu tim engineering dari sehari sampai seminggu
    Sekarang kita tidak hidup di zaman yang lambat lagi

    • Anda pikir teknologinya yang jadi bottleneck?
      Tombol itu tidak penting dan tidak seharusnya memakai sumber daya apa pun, terutama sumber daya engineering. Fakta bahwa butuh seminggu bukan bug, melainkan fitur. Artinya engineering menilai prioritas dan urgensi pekerjaan dengan benar
      Mesin slot ajaib Anda akan memungkinkan produksi sampah dan persepsi yang terdistorsi tentang upaya engineering dalam skala masif. Akan ada konsekuensinya
    • Kalau tim butuh seminggu untuk mengubah satu warna tombol, itu bukan karena perubahan kodenya sulit
      Jangan-jangan Anda PM di proyek itu?
    • Lucunya, membuat mekanisme input-output jauh kurang mengesankan, dan terutama jauh kurang berguna, dibanding teknologi LLM dasar yang sering diremehkan Hacker News
    • Menunggu tim engineering sehari sampai seminggu untuk mengubah satu warna tombol?
      Pasti bercanda

  • Ide seperti ini akan jauh lebih baik kalau README langsung menyertakan demo video singkat, GIF, atau setidaknya satu screenshot
    Kalau tidak, judulnya terbaca seperti meme “Curtains for Zoosha?” [0]
    [0]: https://www.reddit.com/r/BrandNewSentence/comments/15hcc4x/c...

  • Menariknya, akhir tahun lalu saya membuat sesuatu yang mirip. Hanya saja bentuknya memungkinkan orang menggambar di browser pada komputer biasa
    Saya memakai pageflip [0] dengan gaya yang mirip buku harian Riddle yang sebenarnya, lalu menghubungkannya ke model lokal kecil untuk roleplay lewat ollama
    Saya ingat ketika menulis “my name is Harry Potter, what is yours?”, dalam beberapa iterasi jawabannya kembali sebagai Snape, Malfoy, bahkan Harry Potter
    Setelah eksperimen selesai, saya sadar bukan saya yang pertama kali punya ide ini, dan menemukan beberapa buku harian AI Riddle yang mirip
    Selain itu, saya punya Remarkable 2 dan mulai akhir pekan ini juga akan punya m4 iPad Air, jadi mungkin saya akan mencobanya dan melihat seperti apa lingkungan menjalankan model di iOS
    0) https://nodlik.github.io/react-pageflip/

  • Kalau Fable sekarang bisa membuat Horcrux, Departemen Perdagangan seharusnya serius mempertimbangkan timeout lagi

    • Betul. Demi keamanan, sebaiknya sekalian larang juga model Tiongkok yang bisa melakukan hal yang sama

  • “Tidak ada cahaya layar, tidak ada keyboard, tidak ada UI chat.”
    Bukankah ini cuma UI chat?

    • Bukan sekadar antarmuka chat, melainkan frontend untuk berkomunikasi lewat tulisan :sparkle:!
    • Format “no x no y no z” memang wajib dimasukkan
    • Benar. Karena tidak bisa berhenti untuk berpikir, bisa dibilang ini justru bentuk yang lebih buruk
      Tapi fakta bahwa ini benar-benar keren tetap tidak berubah
    • Ini jelas UI chat
    • Orang-orang akan kagum melihat ini sambil tetap menyebut LLM sebagai sampah

  • LLM secara umum sangat terasa seperti A Young Lady's Illustrated Primer. Kotak hitam ajaib yang bisa ditanyai apa saja
    Apalagi kalau ditempeli identitas palsu seperti openclaw/soul

  • Proyek yang benar-benar menarik. Saya tidak akan benar-benar membeli Paper Pro untuk menjalankan aplikasi ini, tapi saya suka bahwa hal seperti ini ada dan orang-orang menikmatinya