MemoryCache: proyek Mozilla yang ingin memperkuat AI lokal berbasis browser

 (future.mozilla.org)
3 poin oleh GN⁺ 2023-12-13 | 2 komentar | Bagikan ke WhatsApp
  • Teks yang disediakan adalah isi halaman utama Mozilla New Products, dan tidak mencakup isi pengenalan MemoryCache dari judul Hacker News
  • Mozilla New Products adalah ruang untuk menemukan, menguji, dan menjelajahi produk baru, serta mengundang pengguna untuk ikut membentuk teknologi generasi berikutnya
  • Produk yang saat ini dapat dikonfirmasi adalah Solo untuk pembuatan situs web, 0din untuk bug bounty keamanan AI, dan Tabstack untuk API eksekusi web serta transformasi data bagi sistem AI
  • Newsletter menyediakan akses awal ke produk dan fitur terbaru Mozilla, penelusuran pembaruan, serta jalur untuk berbagi umpan balik
  • Dari teks ini saja, tidak dapat dipastikan struktur MemoryCache, cara memperkuat AI lokal berbasis browser, cara penggunaan, maupun batasannya

Teks yang disediakan adalah halaman utama Mozilla New Products

  • Mozilla New Products diperkenalkan sebagai ruang untuk menemukan, menguji, dan menjelajahi produk inovatif yang membantu meningkatkan produktivitas, mengembangkan bisnis, dan membangun produk
  • Mozilla menyatakan ingin membuat solusi yang mengutamakan manusia, serta mengundang pengguna untuk ikut menguji produk baru dan bersama-sama membentuk teknologi generasi berikutnya
  • Mozilla menekankan arah bahwa masa depan internet harus terbuka, mudah diakses, dan mengutamakan privasi

Produk yang dapat dikonfirmasi dan cara berpartisipasi

  • Solo: produk untuk membuat situs web gratis dan menghubungkan domain kustom
  • 0din: program bug bounty keamanan AI untuk menemukan kerentanan pada model LLM dan mendapatkan imbalan
  • Tabstack: API eksekusi web dan transformasi data yang membantu sistem AI membaca web dan bekerja dengan andal
    • Ditujukan bagi pengembang yang membangun agen AI, alat riset, pipeline data, dan workflow otonom
  • Newsletter Mozilla New Products menyediakan akses awal ke produk dan fitur terbaru, penelusuran pembaruan, dan berbagi umpan balik
  • Teks yang disediakan tidak memuat penjelasan terkait MemoryCache, sehingga fungsi maupun detail implementasinya tidak dapat dipastikan

Bacaan terkait

2 komentar

 
ndrgrd 2023-12-14

Semuanya bagus, tapi saya harap jangan terus-terusan mencoba mengubah browser menjadi semacam toko loak serba ada.
Pasti ada pelajaran yang didapat dari internet suite di masa lalu.

Browser ya browser. AI ya AI. Kalau perlu, jalankan saja secara terpisah.
 
GN⁺ 2023-12-13
Opini Hacker News

  • Alih-alih data yang pergi ke model, model yang harus datang ke data lokal, dan data harus tetap berada secara lokal
    Ada banyak open source yang memuat data pribadi, tetapi belum menangani gambar atau video dengan baik. Ke depannya, setiap orang mungkin bisa punya modelnya sendiri, tetapi saat ini, meski teknologinya ada, masih kurang produk atau open source yang memudahkan semua orang memiliki QLORA, RAG, atau peringkas mereka sendiri
    Bukan hanya pesan atau dokumen; apa yang kita baca dan tulis, juga pikiran kita, adalah bagian yang membentuk diri kita. Riwayat browsing mengatakan banyak tentang apa yang kita baca, tetapi hampir tidak dimanfaatkan selain oleh Google untuk iklan. Seharusnya bisa menggabungkan situs berita yang kita lihat setiap hari, jejaring sosial, dan video YouTube, lalu mengatakan, “ringkasan dari 3 tempat ini hari ini adalah seperti ini”
    Kemarin saat menonton https://www.youtube.com/watch?v=zHLCKpmBeKA, saya berpikir mengapa, hampir 30 tahun kemudian, kita masih belum punya asisten komputer yang bergerak selangkah di depan kita

    • Terkait bagian “ada banyak open source yang memuat data pribadi, tetapi tidak menangani gambar atau video”, model lokal untuk gambar sudah cukup membaik
      LLaVA adalah large language model dengan kemampuan gambar multimodal, dan berjalan cukup baik bahkan di laptop saya: https://simonwillison.net/2023/Nov/29/llamafile/
      Model seperti Salesforce BLIP juga bisa dipakai untuk membuat caption gambar, dan saya juga membuat alat CLI kecil untuk itu: https://github.com/simonw/blip-caption
    • Hal seperti itulah yang sedang dibuat di https://software.inc
      Mereka mengumpulkan data tentang pengguna—yaitu informasi dari komputer dan internet—ke dalam database lokal, lalu membuat model belajar cara menggunakannya. Modelnya bisa lokal atau berbasis cloud, dan permintaan bisa dirutekan berdasarkan sensitivitas data atau kemampuan yang dibutuhkan
      Kalau terdengar menarik, mereka juga sedang merekrut
    • Bahkan tanpa AI, sekadar punya arsip yang memungkinkan kita menemukan semua halaman web yang pernah dikunjungi lewat pencarian tradisional saja sudah merupakan kemajuan besar
      Sebagian besar pencarian saya adalah mencari kembali sesuatu yang pernah saya lihat, tetapi sering terhambat karena halamannya hilang, peringkatnya rendah di mesin pencari, atau terkubur oleh optimasi pencarian seperti dokumen lama yang hanya memakai HTTP
    • Menurut saya GitHub Copilot bekerja persis seperti itu. Ia terlebih dahulu memindai dan mengindeks seluruh codebase beserta dependensinya, lalu saat melakukan autocomplete, ia sangat memanfaatkan konteks kode, dan itulah yang membuat Copilot berguna
      Saya setuju bahwa model harus datang ke data kita. Jika kecerdasan seperti Copilot bisa berjalan sepenuhnya di perangkat dan menelusuri jejak pribadi seperti pesan, riwayat browsing, dan isi halaman web, itu akan menjadi game changer
    • Saya membayangkan sesuatu yang lebih ambisius daripada sekadar meringkas situs yang dilihat hari ini. Kita membutuhkan model yang menggunakan riwayat pencarian dan perilaku untuk mengekstraksi cara menulis kueri pencarian
      Kueri pencarian Bing Chat terlihat seperti sesuatu yang akan diketik paman kita yang baru saja dijelaskan apa itu mesin pencari. Ia seharusnya menggunakan operator lanjutan seperti site: atau filetype:, setidaknya juga tanda kurung dan AND/OR
      Ini bisa di-fine-tune untuk meniru proses pencarian peneliti hebat, paralegal, dan remaja spektrum autisme yang bisa langsung mengecek fakta cerita kakeknya tentang Ellis Island lalu menemukan catatan kedatangan dan bukti naturalisasi di Chicago

  • Ide yang bagus. Mozilla memang pantas banyak dikritik karena pengelolaan Firefox yang kurang baik dan ceramah politiknya, tetapi saya tetap berpikir mereka masih punya kemampuan membuat teknologi yang ramah pengguna sambil menjaga privasi
    Saya sering memakai penerjemah offline bawaan Firefox, dan rasanya seperti sulap. Saya tidak menyangka hal seperti itu bisa berjalan lokal tanpa hardware setingkat server farm
    Semoga eksperimen ini juga menjadi seperti itu

  • Ini tidak terlalu cocok dengan cara saya menggunakan browser. Saya tidak ingin “mengobrol” dengan riwayat browsing; saya hanya ingin browser bisa mengindeks isi bookmark di sistem operasi sehingga saya bisa mencari isi halaman yang sebenarnya
    Menurut saya loop umpan balik yang didapat dari ChatGPT akan selalu jauh lebih baik daripada produk GPT lokal yang sebanding
    Namun saya sering mem-bookmark halaman yang berisi informasi penting dan kemungkinan akan saya lihat kembali lebih dari sekali nanti. Karena itu saya mulai membuat solusi yang merayapi bookmark di penyimpanan browser lokal, mengunduh halaman tersebut, lalu menambahkannya ke indeks pencarian sistem operasi
    Ini sudah menjadi rasa gatal yang ingin saya garuk selama bertahun-tahun

    • Dataset kecil cenderung memiliki recall yang buruk dalam pencarian teks penuh. Jika AI menambahkan sedikit pencarian fuzzy yang cerdas, pengalaman bookmark yang diindeks lokal bisa menjadi cukup baik
    • Bukankah Chrome melakukan hal seperti ini saat pertama kali muncul? Saya punya ingatan samar bahwa ini pernah ada sebagai fitur
      Secara pribadi, saya sudah akan puas kalau browser tidak terus-terusan melupakan riwayat. Firefox dan Safari sama-sama punya masa penyimpanan riwayat yang terlalu pendek
    • Bukankah ini pada dasarnya Safari? Dengan asumsi memakai chip terbaru

  • Saya sangat ingin ada cara untuk “mengobrol” dengan riwayat browsing dan isi halaman. Saya penasaran apakah ada cara untuk menyimpan otomatis halaman yang dikunjungi agar bisa diproses nanti
    Saya pernah mencarinya lebih dari 10 tahun lalu, tetapi tidak menemukan solusi yang bagus

    • Memex dari WorldBrain(https://github.com/WorldBrain/Memex) tampaknya menjanjikan hal ini. Idenya menarik, tetapi sepertinya pada akhirnya ada alasan mengapa saya tidak terus memakainya
    • Recoll dan Recoll-WE layak dicoba: https://addons.mozilla.org/en-US/firefox/addon/recoll-we/
    • Zotero juga mungkin bisa, tetapi karena berfokus pada riset, ini lebih dekat ke solusi yang sangat tidak sempurna
    • Rewind.ai kurang lebih memang untuk penggunaan ini. Saya baru saja memasangnya dan sejauh ini cukup puas

  • Bookmark tradisional gagal karena pengorganisasian yang bergantung pada ingatan tidak bisa diskalakan. Antarmuka seperti ini bisa diskalakan, dan jika dibuat dengan benar, dapat sepenuhnya menggantikan bookmark
    Kalau dipikir-pikir, ini juga bisa dipakai untuk seluruh file lokal, sehingga dapat berfungsi seperti versi yang lebih baik dari ide lama “filesystem sebagai database”. Ini juga cocok untuk knowledge base tertentu, misalnya semacam Zotero berbasis large language model

    • Kedengarannya seperti baru saja menciptakan versi modern dari Windows Longhorn
    • Bukankah ini ide dari “Networked Environment for Personal, Ontology-based Management of Unified Knowledge”, alias desktop semantik Nepomuk?
      Mungkin bisa berjalan jika large language model dapat mengisi RDF dengan benar, dan dengan memori serta penyimpanan yang jauh lebih besar dan cepat seperti sekarang
    • Sesuatu seperti Orbit sepertinya sangat cocok
      https://withorbit.com/

  • Sepertinya Mozilla menemukan sesuatu
    Alih-alih bolak-balik bertukar prompt dengan perusahaan raksasa dan membuat mereka makin kaya setiap kali, ini memakai model lokal yang lebih kecil dan jauh lebih menghormati privasi
    Dengan model operasi seperti ini, saya bersedia berkontribusi ke open source atau bahkan mendanainya
    Sejujurnya saya bukan penggemar berat organisasi Mozilla, tapi sulit untuk tidak menyukai pihak underdog

    • Di masa depan, AI mereka akan berbicara dengan AI kita. Karena kita membutuhkan perisai
    • Ini mirip dengan yang telah dilakukan Apple selama beberapa tahun terakhir. Hanya saja masih belum jelas seberapa banyak dari itu yang merupakan “AI”. Jadi wajar jika ada pihak lain yang masuk ke celah tersebut

  • Bagi yang tertarik, repositori PrivateGPT ada di sini: https://github.com/imartinez/privateGPT
    Sepertinya situs web resminya tidak menautkannya

  • Mungkin karena saya pernah magang pada era Firefox OS, ini terasa seperti langkah masuk kembali Mozilla untuk kelak merilis sistem operasinya sendiri lagi
    Katanya internet lahir untuk menghubungkan orang, tetapi memasukkan semua fitur mencolok seperti ini ke dalam browser bukanlah cara yang optimal
    Firefox OS pada dasarnya terdiri dari kernel Linux kecil, Gecko, dan HTML5 untuk rendering. Seperti iOS dan iPadOS, Mozilla juga bisa menawarkan sistem operasi serupa untuk perangkat atau platform
    Karena mereka juga berinvestasi di AR dan VR selama 5 tahun terakhir, tidak akan mengejutkan jika pada akhirnya mereka bertaruh pada Firefox OS lain

  • Apakah sebenarnya ingin menautkan ke repositori hasil fork?
    https://memorycache.ai/developer-blog/2023/11/30/we-have-a-w... mengarah ke https://github.com/misslivirose/Memory-Cache
    Apakah yang dimaksud adalah https://github.com/Mozilla-Ocho/Memory-Cache?

  • Dari tautan yang dibagikan saja, saya hampir tidak mendapat gambaran apa maksudnya
    Setelah menelusuri sedikit lebih jauh ke situs resminya, tertulis bahwa “MemoryCache adalah proyek pengembangan eksperimental untuk mengubah lingkungan desktop lokal menjadi agen AI di perangkat”
    Ada juga tulisan bulan November: Introducing Memory Cache
    https://memorycache.ai/developer-blog/2023/11/06/introducing...