Open source - Klien mobile LLM berbasis Ollama

 (github.com/bipark)
10 poin oleh rtlink 2024-11-23 | 2 komentar | Bagikan ke WhatsApp

Tahun ini saya menghabiskan cukup banyak waktu mengerjakan hal-hal terkait LLM-RAG yang berhubungan dengan video. Karena itu, ada beberapa hasil sampingan(?) yang muncul; saya merapikan sebagian di antaranya, membuatnya menjadi aplikasi, lalu mengunggahnya sebagai open source.

Untuk demo, saya membutuhkan UI chat yang bisa digunakan sekaligus di aplikasi dan web, jadi saya mengerjakannya berdasarkan flutter_chat_ui milik Flutter. Karena rasanya sayang jika berhenti hanya sebagai demo, saya membuat aplikasi klien Ollama yang bisa digunakan di perangkat mobile.

ChatGPT dan Claude memang punya performa yang bagus, tetapi bagi yang khawatir soal biaya atau keamanan, memasang Ollama di komputer sendiri lalu menginstal LLM yang sesuai kebutuhan bisa menjadi pilihan yang baik.
Karena source-nya berbasis Flutter, aplikasi ini bisa di-build dan digunakan di iPhone maupun ponsel Android.

Pengenalan

Ollama adalah perangkat lunak open source yang memudahkan menjalankan Large Language Models (LLMs) di komputer lokal. Dengan menggunakan MyOllama, Anda dapat terhubung ke Ollama dan memanfaatkan berbagai LLM. Melalui program MyOllama - Ollama, Anda menjalankan LLM di komputer sendiri sehingga dapat berbicara dengan model AI tanpa biaya penggunaan terpisah.

Fitur utama

  • Akses LLM jarak jauh: terhubung ke host Ollama melalui alamat IP
  • Prompt kustom: mendukung pengaturan instruction yang ditentukan pengguna
  • Mendukung berbagai LLM open source (Llama, Gemma, Qwen, Mistral, dll.)
  • Dapat mengatur instruction kustom
  • Mendukung fitur pengenalan gambar (hanya untuk model yang mendukung fitur tersebut)
  • UI bergaya chat yang intuitif
  • Riwayat percakapan: simpan dan kelola sesi chat
  • Mendukung iOS dan Android
  • Mendukung bahasa Korea, English, dan 日本語

Cara penggunaan

  • Instal Ollama di komputer Anda (mendukung macOS, Windows, Linux). Cara instalasi Ollama dapat dilihat di GitHub Ollama.
  • Unduh source lalu build dengan Flutter, atau unduh aplikasi MyOllama dari App Store.
  • Instal model yang diinginkan di Ollama. Unduh model
  • Ubah pengaturan Ollama agar akses jarak jauh dapat dilakukan.
  • Jalankan aplikasi MyOllama dan masukkan alamat IP komputer tempat Ollama terinstal.
  • Pilih model AI yang diinginkan lalu mulai percakapan.

Kelebihan

  • Aplikasi ini dirancang untuk developer dan peneliti yang ingin memanfaatkan LLM open source secara efisien. Bisa digunakan untuk berbagai eksperimen teknis seperti pemanggilan API, prompt engineering, dan pengujian performa model.
  • Dapat menggunakan fitur AI tingkat lanjut secara gratis
  • Mendukung berbagai model LLM
  • Menjaga privasi (berjalan di komputer lokal)
  • Dapat digunakan untuk berbagai keperluan seperti pemrograman, pekerjaan kreatif, dan pertanyaan sehari-hari
  • Disusun agar konteks percakapan dapat terus berlanjut

Hal yang perlu diperhatikan

  • Untuk menggunakan aplikasi ini, Anda wajib memiliki komputer yang terpasang Ollama.
  • Pengaturan dan pengelolaan host Ollama adalah tanggung jawab pengguna. Perhatikan pengaturan keamanan.

Bacaan terkait

2 komentar

 
chungjungsoo 2024-11-23

Saya juga sedang membuat dan mengoperasikan aplikasi serupa, meski tujuannya berbeda, dan Ollama juga baru-baru ini merilis pembaruan yang mendukung hal tersebut.
Terutama dari luar negeri, permintaan untuk Ollama memang cukup banyak.

https://id.news.hada.io/topic?id=15375