- Kecerdasan buatan (AI) adalah teknologi disruptif yang mengubah web dan memengaruhi kehidupan manusia.
- Mozilla berkomitmen pada AI tepercaya dengan fokus pada transparansi, privasi pengguna, kedaulatan pengguna, keamanan, dan meminimalkan bias.
- Chatbot AI generatif seperti ChatGPT dan Bard memang populer, tetapi dioperasikan oleh perusahaan teknologi besar yang kuat.
- Mozilla percaya pada kekuatan kolaboratif open source, memberdayakan pengguna, dan mencegah kontrol teknologi oleh segelintir perusahaan.
- Mozilla baru-baru ini mengadakan hackathon untuk membangun prototipe chatbot internal, yang bersifat mandiri, open source, dan selaras dengan prinsip-prinsip mereka.
- Mereka menghadapi masalah seperti hosting, lingkungan runtime, pemilihan model, bias, dan integrasi pengetahuan internal.
- Mereka menggunakan
llama.cpp dan text-generation-inference dari Hugging Face sebagai lingkungan runtime.
- Model LLaMA 2 dipilih untuk chatbot tersebut, tetapi mereka mengakui keterbatasannya dan berencana mengevaluasinya kembali di masa depan.
- Mereka mengintegrasikan pengetahuan internal Mozilla ke dalam chatbot menggunakan embedding dan pencarian vektor.
- Untuk fungsionalitas chatbot, prompt engineering sangat penting dan membantu melacak percakapan yang berkelanjutan.
- System prompt adalah instruksi awal yang mendefinisikan fungsi dan perilaku chatbot.
- Context window chatbot menentukan daya ingatnya dan kemampuannya merujuk ke pertanyaan dan jawaban sebelumnya.
- Pengelolaan context window penting untuk prompt engineering dan mempertahankan konteks percakapan.
- LangChain adalah alat orkestrasi terdepan di ranah model bahasa, tetapi bisa rumit untuk dipelajari dan digunakan.
- Antarmuka pengguna chatbot harus menangani percakapan berkelanjutan, thread sebelumnya, dan kompleksitas lainnya.
- UI chatbot open source seperti chatbot-ui dan Companion dapat digunakan sebagai frontend untuk model bahasa.
- Mozilla telah mengembangkan chatbot prototipe yang mencerminkan nilai-nilai mereka dan di-host dengan aman di dalam organisasi.
- Chatbot open source masih terus berkembang, dan ada tantangan dalam evaluasi model serta membuat pilihan yang tepat.
- Mozilla berupaya memudahkan pengembang berpartisipasi dalam ekosistem machine learning open source dan berencana berkontribusi pada komunitas open source.
1 komentar
Opini Hacker News