Pi-C.A.R.D
Daftar isi
- Pengenalan
- Cara penggunaan
- Perangkat keras
- Pengaturan
Pengenalan
- Pi-card adalah asisten suara berbasis AI yang berjalan sepenuhnya di Raspberry Pi.
- Sistem ini dapat melakukan semua hal yang bisa dilakukan LLM standar seperti ChatGPT dalam pengaturan percakapan umum.
- Jika dilengkapi kamera, Anda dapat meminta Pi-card mengambil foto, menjelaskan apa yang terlihat, dan mengajukan pertanyaan tentang gambar tersebut.
Mengapa Pi-card?
- Nama ini merupakan singkatan dari Raspberry Pi - C amera A udio R ecognition D evice.
- Ada ajakan untuk mengajukan issue atau pull request jika Anda bisa memikirkan akronim yang lebih baik.
Bagaimana cara kerjanya?
- Pi-card berjalan sepenuhnya di Raspberry Pi.
- Saat program utama dijalankan, sistem mulai mendengarkan wake word.
- Ketika wake word diucapkan, percakapan dimulai, dan selama percakapan Anda tidak perlu terus mengulangi wake word.
- Sistem akan terus mendengarkan perintah sampai Anda mengatakan hal seperti "berhenti", "keluar", atau "selamat tinggal".
- Selama percakapan, sistem mempertahankan memori sehingga dapat mengulang topik sebelumnya atau menjelaskannya lebih rinci.
- Sistem dirancang untuk bekerja sepenuhnya secara lokal, tetapi Anda juga dapat menghubungkan API atau layanan eksternal untuk meningkatkan percakapan atau mengendalikan perangkat eksternal.
- Misalnya, jika Anda mengatakan "ambil foto" atau "apa yang kamu lihat", kamera akan diaktifkan.
Seberapa berguna?
- Sistem ini dirancang sebagai proyek yang menyenangkan, sekaligus menjadi asisten AI yang cukup berguna.
- Karena semua proses dilakukan secara lokal, sistem ini tidak secepat atau secakap sistem berbasis cloud.
- Meski begitu, masih ada banyak ruang untuk peningkatan.
Mengapa bukan aplikasi?
- Tujuannya adalah membuat asisten suara yang bekerja sepenuhnya offline dan tidak memerlukan koneksi internet.
- Ini dilakukan untuk melindungi privasi pengguna dan memastikan data pengguna tidak dikirim ke server pihak ketiga.
Cara penggunaan
- Setelah mengunduh repositori, memasang dependensi yang diperlukan, dan mengikuti petunjuk pengaturan lainnya, Anda dapat menjalankan program utama dengan perintah berikut:
python assistant.py
- Setelah program berjalan, Anda dapat mulai berbicara dengan asisten dengan mengucapkan wake word.
- Wake word bawaan adalah "hey assistant", tetapi dapat diubah di file
config.py.
Perangkat keras
- Raspberry Pi 5 Model B
- Mikrofon USB
- Speaker
- Kamera
Pengaturan
Perangkat lunak
- Untuk menjaga sistem tetap secepat dan seringan mungkin, digunakan implementasi cpp untuk transkripsi audio dan vision language model.
- Untuk transkripsi audio digunakan pustaka whipser.cpp, dan untuk vision language model digunakan pustaka llama.cpp.
- Anda perlu meng-clone masing-masing repositori ke lokasi yang diinginkan dan menambahkan path-nya ke file
config.py.
- Setelah proses clone, masuk ke masing-masing repositori dan ikuti petunjuk pengaturan untuk menjalankan model.
Perangkat keras
- Pengaturan perangkat keras sangat sederhana.
- Anda memerlukan Raspberry Pi 5 Model B, mikrofon USB, speaker, dan kamera.
- Mikrofon USB dan speaker dapat dihubungkan ke port USB Raspberry Pi.
- Kamera dapat dihubungkan ke port kamera Raspberry Pi.
- Perangkat keras yang digunakan:
- Kit Raspberry Pi 5
- Mikrofon USB
- Speaker
- Kamera
- Konektor kamera
- Pi 5 memiliki port kamera baru, sehingga diperlukan konektor kamera baru.
Opini GN⁺
- Pi-card adalah proyek menarik yang memanfaatkan Raspberry Pi dan membuka berbagai kemungkinan melalui perpaduan AI dan perangkat keras.
- Karena bekerja sepenuhnya offline, sistem ini memiliki keunggulan besar dari sisi perlindungan privasi.
- Performanya mungkin lebih rendah dibanding sistem berbasis cloud, tetapi karena berjalan secara lokal, keamanan data menjadi lebih kuat.
- Proyek lain dengan fungsi serupa antara lain Mycroft AI dan Jasper.
- Saat mengadopsi teknologi ini, pengaturan perangkat keras dan perangkat lunaknya bisa agak rumit, jadi diperlukan persiapan yang memadai.
Belum ada komentar.