Ailoy: Alat Mudah untuk Membuat AI Agent On-Device
(github.com/brekkylab)Ailoy adalah library yang memudahkan pembuatan agent LLM.
Tersedia dalam dua versi, yaitu python / javacript(node), dan kami yakin ini adalah yang paling mudah di antara alat-alat yang ada saat ini.
Keunggulannya adalah bisa digunakan untuk membuatnya bahkan tanpa harus menjadi ahli machine learning.
Pada akhirnya Google, OpenAI, dan Anthropic sama-sama mendorong penggunaan API sebanyak mungkin, jadi rasanya seperti mesin penghabis uang, sehingga kami mencoba membuatnya agar agent bisa dijalankan dengan AI on-device.
Jika Anda datang melalui tautan GitHub Discord, kami akan membantu jika ada kendala. Silakan coba sekali, dan kami akan berterima kasih jika Anda meninggalkan masukan!
4 komentar
Saya penasaran seberapa terasa performanya mengingat ukuran modelnya kecil.
Memang terasa agak kurang memuaskan dibandingkan seri GPT atau DeepSeek R1. Model 30B memang jelas cukup bagus, tetapi kekurangannya, kalau mau menjalankannya secara on-device, harus punya GPU sekelas 5090....
Jadi, kalau ingin mendapatkan performa yang mirip model OpenAI sambil mengoptimalkan token, sepertinya pendekatan hibrida adalah yang terbaik: tetap menggunakan OpenAI, lalu memakai model lokal untuk tugas-tugas yang lebih sederhana.
Tapi bukan sampai tidak bisa dipakai sama sekali, dan rasanya kalau bukan tugas yang rumit, untuk hal seperti terjemahan atau ringkasan perbedaannya juga tidak terlalu besar... hehe
Oh begitu ya ^^ terima kasih atas jawabannya