Ekstensi Chrome yang Menjalankan AI Generatif Secara Lokal di Browser

Deskripsi proyek

Ini adalah proyek ekstensi Chrome untuk menjalankan model AI generatif dengan Transformers.js di JavaScript.

Ada banyak cara untuk menjalankan model AI generatif secara lokal seperti Ollama dan llama.cpp, tetapi proses pengaturannya merepotkan dan ada ketidaknyamanan karena harus berpindah layar setiap kali. Untuk mengatasi hal ini, implementasinya dibuat agar bisa langsung dijalankan dari side panel ekstensi Chrome menggunakan Transformers.js.

Salah satu keunggulan menjalankan secara lokal adalah bisa digunakan saat internet terputus, dan ini terbukti berguna untuk menangani pekerjaan sederhana di lingkungan dengan koneksi internet yang buruk (seperti di pesawat, area camping, dan sebagainya).

Model yang didukung

Karena menggunakan Transformers.js, sebenarnya hampir semua model di Hugging Face dapat dijalankan, tetapi saat ini hanya model berikut yang didukung.

1. LLM : Llama 3, Phi 3.5, Qwen 2.5, SmolLM2
2. Reasoning : DeepSeek R1 (berdasarkan MacBook M1, DeepSeek R1 (1.5B) menghasilkan 30 token/detik)
3. Multimodal LLM : Janus
4. Speech to Text : Whisper

Fitur tambahan

Fungsi Summarize dan Rewrite juga telah ditambahkan. Jika Anda menjalankan ekstensi dengan cara klik kanan saat teks yang terlihat di browser sedang disorot, teks tersebut akan diringkas (Summarize) atau diubah menjadi keluaran LLM (Rewrite). Menonton video demo di bawah mungkin akan membantu pemahaman Anda (bagian 1 menit 10 detik - 1 menit 25 detik).

Video demo: https://www.youtube.com/watch?v=MSCDdFG5Lls&t=70s

Menjalankan ekstensi

Anda dapat membangun proyek Github ini sendiri atau mengunduhnya dari Chrome Web Store.

Chrome Web Store: https://chromewebstore.google.com/detail/private-ai-assistant-runn/…

[sjssjs1344]

Saya sudah membacanya dengan baik.
Menurut saya, bukankah sebaiknya dijelaskan dengan tegas bahwa itu bukan Deepseek R1, melainkan model yang sudah didistilasi? Karena secara teknis keduanya adalah dua model yang sama sekali berbeda.

[tantara]

Terima kasih atas masukannya. Model 1.5B yang saya uji adalah model hasil distilasi, jadi sepertinya Distilled adalah istilah yang lebih tepat. Sepertinya artikelnya tidak bisa diedit, jadi akan saya terapkan pada pembaruan berikutnya.