MirrorOn - Saya membuat program multi-kueri untuk LLM.
(practical.kr)[LLM]
LLM (Large Language Model) kini menjadi sesuatu yang terasa sayang jika tidak ada. Dari sudut pandang developer, selama dua tahun terakhir saya sudah sangat terbantu oleh Github Copilot sebagai asisten coding, tetapi sekarang ChatGPT dan Claude bisa menghasilkan kode yang lebih baik. Selain itu, belakangan ini retrieval-augmented generation (RAG) menjadi kata kunci penting bagi developer, sehingga saya merasa perlu mempelajari struktur dan API MML, lalu mulai belajar.
Saya selalu berpikir bahwa cara tercepat untuk belajar adalah dengan mengajar atau mencoba membuat sesuatu. Jadi setiap kali mempelajari sesuatu, saya cenderung memulai satu proyek baru dan menerapkannya. Proyek yang saya buat sambil mempelajari LLM kali ini adalah MirrorOn.
[Alat kueri multi-LLM MirrorOn]
MirrorOn adalah alat kueri yang memungkinkan Anda melempar satu pertanyaan dan mendapatkan jawaban dari beberapa LLM sekaligus. Namanya terinspirasi dari “Cermin, cermin di dinding~”. ^^ Saat cermin dinyalakan (On!), ia akan memberi tahu siapa yang paling cantik di dunia.

Saat ini (V 0.1.0), tersedia ChatGPT, Claude, dan Ollama. ChatGPT dan Claude memerlukan API key. Pengguna dapat menerbitkan API key sendiri, memasukkan key tersebut di pengaturan, lalu memasukkan pertanyaan untuk melihat hasil kueri API. Aplikasi ini dirancang agar konteks percakapan bisa berlanjut, dan melalui menu Anda dapat melakukan salin, hapus, bagikan, dan lain-lain.
[LLM lokal]
Ollama (https://ollama.com) adalah program yang membantu menjalankan LLM di komputer pengguna. Anda dapat memasang Ollama dari tautan tersebut, lalu menginstal model yang diinginkan dan mengajukan pertanyaan secara gratis(!). Anda juga bisa menjalankan berbagai model selama kapasitas komputer memungkinkan.
Jika menggunakan MirrorOn sebagai klien Ollama, Anda dapat menghemat biaya bulanan yang dibayarkan untuk LLM.
[RAG – Retrieval-Augmented Generation]
Retrieval-augmented generation (RAG), dari sudut pandang pengembang aplikasi, tampaknya akan menjadi fitur yang wajib dimiliki ke depannya. MML tidak dapat mengetahui segalanya, tetapi kebutuhan pengguna sangat beragam, dan cara untuk menyesuaikannya adalah RAG.
Di MirrorOn V0.1.0, saya telah membuat fungsi-fungsi dasar. Saat ini masih sebatas mengunggah dokumen PDF lalu merangkum dan mencarinya, tetapi ke depannya ada rencana menambahkan fitur seperti vektorisasi.
Selain itu, ada juga fitur-fitur khusus untuk menggunakan LLM, seperti mengunggah gambar untuk mengajukan pertanyaan tentang isinya, atau memberikan instruction kepada LLM. Untuk fitur yang lebih detail, silakan lihat tautannya. Aplikasi ini mendukung bahasa Inggris dan Jepang, dan juga menyediakan dokumentasi.
[Penjelasan fitur lengkap]
https://github.com/bipark/MirrorOn
[Unduh]
Saat ini baru tersedia versi Mac. Saya sudah mencoba selama beberapa minggu untuk mengunggahnya ke Mac App Store, tetapi persetujuannya masih ditahan oleh Apple karena masalah pada fitur input API key, sehingga saya mengunggahnya agar bisa diunduh dari Git Release. Semoga setelah mendapat persetujuan Apple nanti, aplikasi ini juga bisa tersedia di App Store. Versi Windows juga sedang dibuat.
Belum ada komentar.