Windrecorder - aplikasi Windows open source untuk memundurkan dan mencari semua yang ada di layar

(tonoko.notion.site)

11 poin oleh GN⁺ 2024-04-22 | 1 komentar | Bagikan ke WhatsApp

Terkadang saat mencoba mengingat sesuatu yang pernah dibaca atau dilihat sebelumnya, kita tidak dapat menemukannya meski sudah membuka semua aplikasi
Terutama, informasi yang tersebar di berbagai halaman web, video, pesan chat, dan sebagainya muncul lalu menghilang dalam sekejap, sehingga meskipun mencoba menelusuri ingatan atau riwayat browser, rasanya seolah informasi itu tidak pernah ada
Yang lebih buruk, informasi tersebut mungkin sudah dihapus, disembunyikan, atau diubah

Motivasi mengembangkan aplikasi penyimpanan memori pribadi

Sebagai orang yang daya ingatnya kurang baik namun takut melewatkan hal penting (FOMO), saya mengembangkan aplikasi ini untuk Windows
Inspirasi utamanya datang dari konsep awal aplikasi Mac Rewind dan Black Mirror S1E3 "The Entire History of You"
- Tujuannya adalah memungkinkan karakter merekam segalanya dengan mata mereka, lalu memundurkan atau mencari semua yang pernah muncul di layar komputer
Aplikasi ini juga memberikan berbagai manfaat tambahan
- Memori pribadi yang tidak dapat diubah dan disimpan secara lokal
- Tidak ada risiko kehilangan petunjuk memori
- Dapat memulihkan pekerjaan saat perangkat lunak gagal
- Dapat melacak asal data yang diunduh
- Dapat menemukan informasi yang dulu terlewat
- (Secara pribadi, ini juga menjadi alat untuk bercanda dengan teman-teman)

Menggunakan ffmpeg untuk merekam layar menjadi file potongan kecil per 15 menit, lalu mengindeksnya dengan Windows local OCR API dan image embedding
Pengguna juga dapat memilih untuk mengabaikan program tertentu atau area layar tertentu
Semua ini dapat diputar mundur atau dicari melalui antarmuka web UI lokal (judul jendela, kata kunci teks, deskripsi gambar, dan sebagainya)
Dengan data ini, juga ditambahkan fitur ringkasan seperti waktu layar harian dan berkala, ringkasan sirkadian, serta pembuatan lightbox bulanan

Karena privasi dianggap penting, semuanya diproses hanya di komputer dan tidak ada yang disimpan ke cloud
Semuanya diimplementasikan secara transparan menggunakan Python, sehingga mudah dimodifikasi langsung oleh pengguna (meski performanya bisa sedikit lebih lambat)
Bisa digunakan gratis tanpa biaya langganan, dan datanya tetap milik pengguna

Karena saya bukan developer profesional, proyek ini dikembangkan berdasarkan minat pribadi dan kebutuhan pemakaian, jadi mungkin belum sempurna dan masih ada beberapa masalah
Namun setelah digunakan selama beberapa waktu, saya merasa proyek ini sudah cukup matang dan stabil
Jika Anda tertarik dengan proyek ini, Anda dipersilakan ikut berdiskusi, melaporkan masalah, atau berkontribusi untuk membantu menjadikannya aplikasi yang lebih baik
(Saya tidak yakin apakah sudah ada aplikasi serupa di Windows, tetapi saya tahu di Linux ada aplikasi seperti Memento. Jika Anda mengetahuinya, mohon beri tahu)

GN⁺ 2024-04-22

Ringkasan proyek DejaView:

Proyek yang dikembangkan 20 tahun lalu ini menyediakan fitur untuk merekam, memutar ulang, mencari, dan melanjutkan riwayat penggunaan komputer desktop
Output layar serta status aplikasi/sistem file direkam sebagai checkpoint, dan teks yang ditampilkan ditangkap beserta informasi konteks lalu diindeks
Pengguna dapat mencari semua informasi visual yang pernah ditampilkan di desktop, lalu kembali ke status pada saat itu dan berinteraksi kembali
Bekerja secara transparan melalui virtualisasi tanpa memodifikasi aplikasi, sistem Windows, maupun kernel OS
Hasil evaluasi pada aplikasi desktop nyata menunjukkan perekaman berkelanjutan dimungkinkan dengan overhead yang sangat rendah hingga nyaris tidak terasa oleh pengguna, serta pencarian dan pemutaran ulang cukup cepat untuk penggunaan interaktif

Pengenalan proyek serupa:

Proyek open source rem untuk macOS pernah diperkenalkan di HN dan memicu diskusi yang aktif
Ada juga proyek komersial TimeSnapper untuk Windows

Pendapat tentang proyek ini:

Ini adalah ide yang sudah lama dipikirkan, jadi rasanya mengharukan melihat seseorang benar-benar mewujudkannya
Namun, tampaknya ada risiko besar terhadap keamanan data. Perlu dipikirkan cara mencegah perilaku jahat dari aplikasi itu sendiri
Jika memanfaatkan API aksesibilitas alih-alih OCR, teks bisa diperoleh secara langsung sehingga jauh lebih efisien. Ini juga tampaknya bisa menjadi cara yang baik untuk menghubungkan LLM dengan UI dan mengumpulkan data pelatihan

Contoh proyek serupa di masa lalu:

Pada 2014, Savant Recall gagal lolos seleksi YC lalu dirilis sebagai open source
Setelah diakuisisi oleh salah satu pendiri Napster, namanya diubah menjadi Atlas Recall, UI-nya ditingkatkan, dan berhasil memperoleh investasi $20 juta, tetapi hanya setahun kemudian diakuisisi Xinova dan layanannya tiba-tiba dihentikan
Pada 2019 juga ada proyek bernama Apse

Lain-lain:

Menurut penjelasan di GitHub, kapasitas rekaman sekitar 100-200GB per tahun diperkirakan sudah cukup baik
Selamat karena berhasil mewujudkan ide baru ini dengan baik. Ini memberi semangat bagi siapa pun yang pernah berpikir, "kenapa aplikasi seperti ini tidak ada?"
Ini terlihat mirip dengan Apse.io, yang membangun indeks yang dapat dicari untuk semua hal yang ditampilkan di layar dengan OCR. Saya menyukai sisi open source dari Windrecorder
Sepertinya ini bisa dengan mudah dijual seharga $5 per kursi kepada perusahaan besar yang ingin memasang spyware di workstation karyawan