rem(Remember Everything) - Open source yang memungkinkan Anda merekam dan mencari semua hal di Apple Silicon

• Merekam semua aktivitas yang terjadi di layar komputer (mengambil screenshot setiap 2 detik)
• Dapat berpindah waktu dengan menggulir ke kiri/kanan di tampilan timeline
  • Jika Live Text mengenali teks, teks dapat dipilih
• Anda dapat mencari kata tertentu untuk menemukan layar, melihat seluruh isi OCR dari layar tersebut, atau mengirim teks itu ke ChatGPT dan sejenisnya untuk pekerjaan lanjutan
• Hanya diuji di Apple Silicon, dan rilis juga khusus untuk Apple Silicon.
• Ini masih versi yang sangat awal: ditulis hanya dalam beberapa hari selama liburan, dan penulis masih pemula di Swift

Memulai

• Build sendiri, atau unduh rilis lalu jalankan xattr -c rem.app untuk menyetujui aplikasi di macOS.
• Setelah menjalankan aplikasi, klik "Start Remembering" untuk memberikan izin akses "Screen Recording".
• Buka tampilan timeline dengan "Open timeline" atau "Cmd + Scroll Up".
• Di timeline, gulir ke kiri atau kanan untuk berpindah waktu.
• Klik "Search" untuk membuka tampilan pencarian, lalu klik thumbnail di timeline untuk berpindah ke waktu tersebut.
• Setelah mengaktifkan Live Text di timeline, Anda dapat memilih teks.
• Klik "Copy Recent Context" untuk menyalin konten yang baru-baru ini dilihat sebagai prompt untuk berinteraksi dengan LLM.
• Klik "Purge All Data" untuk menghapus semua data.

Fitur yang saat ini didukung:

• Kembali ke masa lalu (scrubber layar penuh untuk semua yang pernah dilihat).
• Menyalin teks dari masa lalu.
• Mencari semua yang pernah dilihat.
• Mendapatkan konteks terbaru dengan mudah untuk berinteraksi dengan LLM.

Fitur yang ingin ditambahkan:

• Pencarian bahasa alami/interaksi agen melalui pembaruan embedding vektor lokal.
• Menjelajahi pendekatan baru terhadap database vektor.
• Dukungan multi-monitor.

[GN⁺]

Opini Hacker News

• Ringkasan komentar pertama:

  • Alat ini terlihat keren. Ini mengingatkan saya ketika baru-baru ini mencoba mengosongkan ruang disk lalu menemukan file rekaman layar berdurasi 9 jam dari hampir setahun lalu. Sepertinya saya tidak sengaja membiarkan perekaman tetap menyala. Dengan melakukan scrub cepat dan menonton keseluruhannya dalam beberapa menit, itu menjadi pengalaman yang memikat karena memberi sedikit gambaran tentang proses berpikir saya saat itu. Saya bisa melihat proses meneliti sesuatu secara online, dan itu terasa edukatif serta berguna, seperti menonton ulang pertandingan olahraga. Selain itu, melihat kembali detail-detail dari masa itu membawa perubahan. Saya membuat alat bernama 'DownloadNet' yang menyimpan salinan offline dari setiap halaman yang dikunjungi dan mengindeks semuanya secara penuh. Anda juga bisa mengaturnya agar hanya menyimpan halaman yang diberi bookmark. Alat ini bersifat open source, jadi silakan lihat: tautan GitHub DownloadNet
  • Menyalin teks dari video yang tersimpan adalah hal yang luar biasa.

• Ringkasan komentar kedua:

  • Dulu saya menggunakan utilitas bernama TimeSnapper Classic yang mengambil screenshot secara berkala. Namun screenshot mulai memenuhi disk, dan sebagian besar screenshot tampak hampir sama. Saya sempat berpikir untuk membuat codec yang dioptimalkan untuk urutan gambar, lalu akhirnya sadar bahwa saya sedang menemukan kembali codec GIF/video. Jadi saya menulis skrip yang menambahkan stempel waktu ke gambar dengan ImageMagick lalu mengubahnya menjadi video dengan ffmpeg. Hasilnya ukuran file berkurang 99,9%.

• Ringkasan komentar ketiga:

  • Dulu sekali saya mengerjakan proyek yang mengambil screenshot setiap beberapa detik dan mengekstrak informasi secara otomatis. Saya membuat PNG DB yang membagi gambar PNG menjadi beberapa blok lalu menyimpan setiap blok ke database. Blok yang sama hanya disimpan sekali, dan pencarian cepat dimungkinkan lewat hash table. Dengan PNG DB ini saya mencapai rasio kompresi sekitar 400-500%. tautan GitHub PNG DB Namun skrip untuk menganalisis screenshot pada akhirnya tidak terlalu berhasil. tautan GitHub screenshooting Pengalaman itu berlanjut ke proyek lain, yang menyimpan informasi dengan lebih langsung tentang aplikasi yang sedang dipakai atau file yang sedang dibuka. tautan GitHub timecapture

• Ringkasan komentar keempat:

  • Anda tampaknya orang yang peduli pada privasi dan keamanan, jadi menarik bahwa Anda menggunakan browser web closed-source (Arc Browser).

• Ringkasan komentar kelima:

  • Saya ingin alat seperti ini yang benar-benar lintas platform dan berjalan secara lokal. Linux dan Windows wajib didukung, dan harus 100% offline sehingga bisa dipakai tanpa internet. Saya bersedia membayar $60 per versi mayor setiap tahun. Jika ditambah lisensi open source yang permisif, saya akan menjadi pelanggan seumur hidup. Mungkin kalau orang lain juga tertarik, saya harus membuatnya sendiri.

• Ringkasan komentar keenam:

  • Tentang 'Remember Everything': saya menggunakan ekstensi browser 'singleFile' untuk menyimpan salinan semua halaman web yang saya lihat di Chrome dan FireFox. Saya juga menggunakan program 'AutomaticScreenshotter' untuk merekam aktivitas layar selain aktivitas browser. Dengan ini saya bisa mengetahui apa yang saya lakukan di PC pada tanggal tertentu di masa lalu. Semua file disimpan dalam struktur direktori tahun/bulan/hari. Saat ini saya memakai pencarian Windows untuk menemukan file. Saya menggunakan 'ditto' untuk menyimpan semua copy dan paste ke mysqldb. Struktur direktori ini sudah saya gunakan sejak sebelum 2010, dan ekstensi serta screenshot mulai saya pakai sekitar 3-4 tahun lalu. Saya penasaran apakah alat investigasi forensik PC bisa digunakan atau dimodifikasi untuk membantu membuat linimasa aktivitas PC.

• Ringkasan komentar ketujuh:

  • Akan menarik melihat bagaimana teknologi seperti ini digunakan 5 atau 10 tahun ke depan. Kita punya perangkat memori paling kuat yang pernah ada, tetapi kita terus berusaha untuk tidak memakainya. Di sisi yang lebih serius, saya rasa alat-alat seperti ini juga bisa menghambat kreativitas. Kita bisa membentuk kebiasaan bergantung pada alat ini alih-alih mengingat sendiri, padahal kreativitas adalah kemampuan untuk menggabungkan kembali ingatan masa lalu dengan hal-hal di masa depan.

• Ringkasan komentar kedelapan:

  • Demo OP sangat keren. Saya penasaran kenapa ini khusus Apple Silicon. Apakah karena dukungan ML yang lebih baik dibanding Windows? Sayang sekali Ollama tidak bisa dipakai di Windows. Saya tidak punya laptop Apple Silicon, hanya Apple Intel dan mesin Windows yang kuat, jadi saya tidak bisa mengujinya. Sebagai programmer pemula, saya kekurangan gambaran tentang cara membuat hal seperti ini dari nol tanpa bahasa pemrograman Swift. Kalau saya jadi OP, saya mungkin akan mulai dari banyak tutorial Swift. Membuat clone agar berjalan di Linux atau Windows dengan Java atau C# masih sebatas harapan, tetapi saya sama sekali tidak punya pengalaman dengan ML, API DirectX, atau API desktop Linux. Ada banyak API dan alat yang harus dipahami sebelum memulai proyek seperti ini. Saya penasaran bagaimana OP bisa membuat ini tanpa pengalaman Swift, dan apakah membuat proyek di Apple Silicon memang lebih mudah. Saya punya pengalaman 4 tahun dan bekerja dengan web API serta WinForm/DevExpress menggunakan Java dan C#.

• Ringkasan komentar kesembilan:

  • Saya juga bisa membayangkan ini dipakai sebagai cara untuk menjaga akuntabilitas diri. Saya penasaran apakah screenshot bisa dengan mudah diklasifikasikan sebagai aktivitas "membuang waktu" dan "produktif" (mungkin bisa lewat model ML). Menggamifikasi statistik juga bisa jadi opsi. Misalnya, Anda bisa melihat statistik bahwa dalam satu jam terakhir Anda 78% produktif, 12% Hacker News, dan 10% tidak aktif. Anda bahkan bisa mencoba memecahkan rekor pribadi sendiri (misalnya, mendapatkan 3 kali periode 100% produktif dalam sehari mungkin akan menjadi hari yang sangat hebat!). Saya suka demo videonya. Dalam kurang dari 30 detik saya sudah paham alat ini melakukan apa. Terima kasih! PPS: (sangat sepele) pengatur kecepatan video (add-on browser) sekarang berfungsi dengan video loom — beberapa bulan lalu belum bisa.

• Ringkasan komentar kesepuluh:

  • Ada skenario mimpi buruk potensial dari teknologi seperti ini. Para pemberi kerja akan senang menggunakan alat semacam ini untuk mengawasi karyawan secara total. Jika dihubungkan ke AI, semua yang dilakukan setiap orang bisa dipantau secara real-time dan memicu peringatan.