Apakah Anda ingin membuat chatbot open source Anda sendiri?

 (hacks.mozilla.org)
1 poin oleh GN⁺ 2023-07-31 | 1 komentar | Bagikan ke WhatsApp
  • Kecerdasan buatan (AI) sedang mengubah web dan memengaruhi kehidupan manusia.
  • Mozilla berkomitmen pada AI yang tepercaya, termasuk transparansi, privasi, agensi pengguna, dan keadilan.
  • Chatbot AI generatif memang populer, tetapi sebagian besar dikendalikan oleh perusahaan teknologi besar.
  • Mozilla percaya pada kekuatan open source dan berupaya mencegah kendali teknologi oleh segelintir perusahaan serta memberdayakan pengguna.
  • Mozilla baru-baru ini mengadakan hackathon untuk membangun prototipe chatbot internal.
  • Tim menggunakan model bahasa besar (LLM) open source dan menghadapi persoalan seperti hosting, lingkungan runtime, pemilihan model, bias, serta perluasan pengetahuan chatbot.
  • Mereka memutuskan untuk meng-host chatbot di infrastruktur cloud Mozilla demi privasi dan kontrol.
  • Mereka menggunakan proyek open source llama.cpp untuk menjalankan model berbasis arsitektur LLaMA.
  • Mereka mengevaluasi model terhadap toksisitas, bias, misinformasi, dan konten berbahaya, lalu memilih model LLaMA 2 dari Facebook.
  • Mereka mengintegrasikan pengetahuan internal khusus Mozilla dengan menggunakan embedding dan teknik pencarian vektor.
  • Mereka mengembangkan solusi manual dengan Python dan berbagai pustaka.
  • Dalam pengembangan chatbot, prompt engineering penting untuk memberikan konteks dan meningkatkan kualitas respons.
  • System prompt dan context window penting bagi kemampuan chatbot dan konteks percakapan.
  • LangChain adalah alat orkestrasi terdepan di ranah model bahasa, tetapi bisa rumit untuk dipelajari dan digunakan.
  • Anda dapat menggunakan UI chatbot open source seperti chatbot-ui dan Companion untuk membuat front-end bagi model bahasa.
  • Mozilla mengembangkan prototipe chatbot yang mencerminkan nilai-nilai mereka dan di-host dengan aman di dalam organisasi.
  • Chatbot open source masih terus berkembang, dan ada tantangan dalam mengevaluasi model serta membuat pilihan yang tepat.
  • Mozilla berupaya memudahkan para pengembang untuk berpartisipasi dalam ekosistem machine learning open source dan berkontribusi pada komunitas.

Bacaan terkait

1 komentar

 
GN⁺ 2023-07-31
Komentar Hacker News
  • Chatbot dipandang sebagai kompensasi atas kurangnya praktik UX di situs web.
  • Sebagian orang menganggap chatbot menjengkelkan dan tidak berpikir setiap bisnis harus memiliki chatbot.
  • Web semakin dikendalikan oleh semakin sedikit perusahaan, sehingga memicu perjuangan untuk visibilitas dan komunikasi.
  • Chatbot digunakan ketika situs web memiliki UI yang membingungkan atau menyembunyikan informasi penting.
  • Tujuan sebenarnya chatbot adalah menggantikan web dan aplikasi mobile sebagai sarana kontak pertama dengan bisnis.
  • Penulis sebenarnya tidak membangun chatbot open source, melainkan mempromosikan penggunaan library open source.
  • Menyiapkan server di dalam infrastruktur Google pada kenyataannya tidak bersifat pribadi dan tidak berada di bawah kendali Mozilla.
  • Sebagian orang memiliki pengalaman positif dengan chatbot yang terasa lebih membantu dibandingkan metode pencarian tradisional.
  • Tersedia sumber daya untuk membangun model chat basis data vektor dan memperluas pencarian kemiripan semantik.