Jika Anda Ingin Membuat Chatbot Bergaya ChatGPT Open Source Sendiri
(hacks.mozilla.org)- Tim kecil dari kelompok inovasi Mozilla membuat prototipe chatbot internal dalam hackathon satu minggu, sambil bereksperimen dengan konfigurasi yang menjalankan LLM open source di dalam cloud Mozilla tanpa API pihak ketiga
- Karena tidak menggunakan AI SaaS eksternal, mereka harus menyiapkan server langsung di dalam akun GCP Mozilla, dan beralih dari Hugging Face text-generation-inference ke llama.cpp yang bisa dijalankan lebih cepat
- Pemilihan model lebih dulu dibatasi oleh lisensi dan kompatibilitas runtime daripada kualitas, dan setelah mengevaluasi secara manual kandidat keluarga LLaMA yang dapat dipakai secara komersial, mereka memilih LLaMA 2
- Integrasi pengetahuan internal diimplementasikan dengan embedding dan pencarian vektor, menggabungkan all-mpnet-base-v2, SentenceTransformers, LangChain, dan FAISS agar sebagian wiki perusahaan dapat dipakai dalam jawaban
- Prototipe berhasil diselesaikan, tetapi untuk membuat chatbot open source yang dapat dipercaya masih banyak area yang harus diputuskan sendiri, mulai dari hosting, evaluasi model, bias, prompt, hingga UI
Chatbot internal yang ingin dibuat Mozilla
- Mozilla mengedepankan prinsip trustworthy AI bahwa sistem AI harus transparan terhadap data dan pengambilan keputusan yang digunakannya, menghormati privasi, otonomi, dan keamanan pengguna, serta mengurangi bias dan meningkatkan keadilan
- Bagi banyak pengguna, jalur utama untuk merasakan AI terbaru adalah chatbot AI generatif seperti ChatGPT dan Bard, dan layanan yang dominan sering dioperasikan oleh perusahaan teknologi besar serta bergantung pada teknologi tertutup
- Mozilla memandang open source sebagai cara untuk memberdayakan pengguna, meningkatkan transparansi, dan mencegah teknologi berkembang hanya mengikuti pandangan dunia dan motivasi finansial segelintir perusahaan
- Tujuan langsung hackathon ini adalah membuat prototipe chatbot internal yang memenuhi syarat berikut
- Berjalan sepenuhnya di infrastruktur cloud Mozilla dan tidak bergantung pada API atau layanan pihak ketiga
- Dibangun dengan LLM dan alat open source gratis
- Mencerminkan Mozilla Manifesto dan prinsip trustworthy AI
- Mengintegrasikan sebagian pengetahuan internal Mozilla agar dapat menjawab pertanyaan karyawan
Hosting: server GCP sendiri alih-alih SaaS eksternal
- Ada banyak layanan hosting aplikasi machine learning, tetapi MLOps itu sulit, dan aplikasi AI dengan konfigurasi buruk bisa menjadi lambat, mahal, atau berkualitas rendah
- Tujuan eksplisit tim adalah keamanan dan privasi agar tidak ada pihak luar yang bisa mengetahui isi penggunaan, mengumpulkan data pengguna, atau melihat pola penggunaan
- Karena itu mereka tidak memakai hosting AI SaaS pihak ketiga, melainkan menyiapkan server virtual sendiri di dalam akun Google Cloud Platform Mozilla yang sudah ada
- Pilihan ini membuat mereka harus menangani sendiri MLOps, tetapi memungkinkan sistem tetap dikendalikan Mozilla dan tetap privat
Runtime: beralih dari Hugging Face ke llama.cpp
- Aplikasi LLM memerlukan runtime engine untuk menjalankan model, dan karena keterbatasan waktu tim berfokus pada llama.cpp dan ekosistem Hugging Face
- Hugging Face menyediakan pustaka model, dokumentasi, tutorial, dan API inferensi hosting
- Tim mencoba text-generation-inference open source alih-alih API hosting
- text-generation-inference mendukung berbagai model dan arsitektur model serta dapat dideploy dengan Docker, tetapi selama menjalankan server muncul masalah konfigurasi lingkungan yang besar
- Karena merupakan alat akselerasi GPU, kombinasi OS, hardware, dan driver server harus cocok
- Diperlukan NVIDIA CUDA toolkit
- Sebagian besar satu hari habis untuk konfigurasi, dan bahkan setelah berjalan pun output lebih lambat dari perkiraan serta hasilnya kurang baik
- Karena keterbatasan waktu, mereka beralih ke llama.cpp yang dimulai oleh Georgi Gerganov
- llama.cpp memudahkan menjalankan keluarga LLM tertentu pada hardware kelas konsumen
- Bisa memakai CPU alih-alih GPU canggih, dan khususnya mampu menjalankan model open source modern yang relatif kecil dengan baik pada CPU Apple Silicon seperti M1 dan M2
- llama-cpp-python menyediakan implementasi OpenAI API specification, sehingga lebih mudah mengganti ChatGPT dengan LLM buatan sendiri
- Pada akhirnya, alih-alih menangani versi CUDA dan GPU hosting yang mahal, mereka dapat menjalankan llama.cpp dengan cepat di server virtual CPU multicore AMD
Pemilihan model: batasan lisensi dan arsitektur
- Setelah memilih llama.cpp, model yang dapat dipakai menyempit menjadi model berbasis arsitektur LLaMA
- Facebook merilis LLaMA pada akhir 2022, dan LLaMA dapat dipisahkan menjadi data model dan arsitektur
- Arsitektur LLaMA dirilis sebagai open source, tetapi data model berupa weights bukan open source
- Penggunaan weights memerlukan pengajuan izin dan dibatasi untuk tujuan nonkomersial
- LLaMA memicu banyak inovasi model seperti Stanford Alpaca dan LMSYS Vicuna
- Tetapi model-model ini dikembangkan dengan weights milik Facebook, sehingga mewarisi batasan hukum dari weights aslinya
- Karena tidak bisa digunakan untuk tujuan komersial, model-model tersebut dikeluarkan dari kandidat tim Mozilla
- Karena arsitektur LLaMA sendiri adalah kode open source, kelompok lain dapat melatih model dari nol dan merilisnya di bawah lisensi MIT, Apache 2.0, atau Creative Commons
- Model berbasis arsitektur lain seperti MPT, Falcon, dan Open Assistant tidak berjalan di llama.cpp saat itu sehingga tidak masuk kandidat
Evaluasi kualitas model, bias, dan keamanan
- Pemilihan model secara langsung memengaruhi keandalan, bukan hanya lisensi dan kompatibilitas
- LLM dilatih dengan data dalam jumlah sangat besar dan kemudian di-fine-tune dengan input tambahan untuk menghasilkan perilaku dan output tertentu
- Pemilihan data ini sendiri merupakan kurasi dan mengandung berbagai bias
- Model menunjukkan karakteristik berbeda tergantung sumber pelatihannya
- Dapat menghasilkan jawaban tidak masuk akal seperti halusinasi
- Dapat mengarah pada konten toksik, misinformasi, atau berbagi informasi berbahaya dan merugikan
- Dapat menunjukkan bias terhadap konsep atau kelompok orang tertentu
- Fakta bahwa sebagian besar materi pembelajaran online berbahasa Inggris memengaruhi kemampuan alat dan pandangan dunia yang dihadapinya
- Ada sumber untuk mengevaluasi performa dan kualitas seperti Open LLM leaderboard dari Hugging Face, tetapi masih sulit membandingkan model berdasarkan sumber dan biasnya
- Tim Mozilla mempersempit cakupan ke model terbuka yang bisa dipakai secara komersial dan berjalan pada arsitektur LLaMA, lalu melakukan evaluasi manual dengan mengajukan berbagai pertanyaan untuk melihat ketahanan terhadap toksisitas, bias, misinformasi, dan konten berbahaya
- Pilihan akhirnya adalah LLaMA 2 dari Facebook, tetapi karena metodologi evaluasi dalam waktu terbatas mungkin memiliki kelemahan dan mereka juga tidak sepenuhnya nyaman dengan syarat lisensinya, pilihan ini sulit dianggap sebagai rekomendasi
Integrasi pengetahuan internal: embedding dan pencarian vektor
- Tim Mozilla ingin menghubungkan chatbot dengan sebagian data internal Mozilla yang dapat diakses karyawan tetapi tidak diketahui LLM umum
- Pendekatan yang dipilih adalah embedding dan pencarian vektor yang memungkinkan dokumen eksternal dipakai saat menghasilkan jawaban
- Alur dasarnya sebagai berikut
- Mengambil data yang akan digunakan dari repositori aslinya lalu mengubahnya dengan model embedding
- Mengindeks embedding ke dalam database vektor yang dapat diakses chatbot
- Saat pengguna mengajukan pertanyaan, chatbot mencari konten terkait di database vektor
- Konten terkait yang ditemukan dimasukkan ke context window model dasar untuk digunakan dalam menghasilkan jawaban
- Untuk menjaga kontrol atas data, tim tidak menggunakan layanan embedding atau database vektor pihak ketiga
- Solusi yang mereka implementasikan sendiri dengan Python menggunakan alat berikut
- Model embedding all-mpnet-base-v2
- Pustaka embedding SentenceTransformers
- LangChain
- Database vektor FAISS
- Cakupannya terbatas karena hanya memasukkan beberapa dokumen dari wiki internal perusahaan, tetapi sebagai proof of concept pendekatan ini berhasil
Prompt engineering dan context window
- LLM memulai setiap kali tanpa mengingat percakapan sebelumnya atau pengguna, jadi agar chatbot dapat melanjutkan percakapan, pengembang harus menangani manajemen memori
- System prompt adalah instruksi awal dalam teks biasa yang menentukan fungsi dan perilaku chatbot
- Tim Mozilla merancang system prompt agar chatbot mengikuti Mozilla Manifesto, bersikap hormat, dan mematuhi kebijakan nondiskriminasi
- Pada pertanyaan tentang teori konspirasi pendaratan Apollo di bulan, ketika ada instruksi untuk menolak jawaban misinformasi, model menjawab bahwa pendaratan di bulan tidak dipalsukan
- Ketika kalimat pelarangan misinformasi dihapus dari model yang sama, model memberikan daftar umum argumen penyangkalan Apollo
- System prompt mencakup nama Mozilla Assistant, kepatuhan pada prinsip Mozilla Manifesto, sikap hormat, profesional, dan inklusif, penolakan terhadap tindakan yang berbahaya, tidak bermoral, tidak etis, atau berpotensi ilegal, serta larangan misinformasi dan bahasa diskriminatif
- Semua LLM memiliki context window, yaitu panjang maksimum yang dapat diingat dalam percakapan saat ini
- Sebagian besar ditentukan saat pelatihan dan tidak bisa diubah kemudian
- Semakin besar context window, semakin lama pertanyaan dan jawaban sebelumnya dapat dirujuk
- Potongan konten yang lebih besar dari pencarian vektor juga bisa dimasukkan
- Context window LLaMA 2 adalah 4096 token, kira-kira 3000 kata
- Tim berulang kali memangkas panjang system prompt untuk menghemat context window, dan berencana meninjau model yang mendukung context window lebih besar di masa depan
Orkestrasi dan pilihan UI
- Chatbot secara keseluruhan membutuhkan orkestrasi yang mengoordinasikan berbagai lapisan seperti injeksi prompt agen, manajemen context window, embedding konten internal, pemanggilan LLM, dan pemrosesan respons
- LangChain, salah satu alat utama di bidang LLM, kuat dan fleksibel tetapi juga kompleks
- Tim Mozilla menggunakan LangChain secara minimal hanya untuk embedding dan pencarian vektor
- Karena proyek ini singkat dan sangat terbatas, sebagian besar sisanya ditangani dengan kode Python yang mereka tulis sendiri
- Jika punya lebih banyak waktu, kemungkinan besar mereka tidak akan mengerjakan semuanya secara manual
- UI memerlukan lebih banyak fungsi daripada yang terlihat sederhana, seperti menampilkan percakapan, melacak thread sebelumnya, dan menangani proses backend yang mengeluarkan hasil dengan kecepatan tidak konsisten
- Di antara UI chatbot open source, chatbot-ui mengimplementasikan OpenAI API sehingga bisa dipakai seperti pengganti UI ChatGPT dan juga mudah dimanfaatkan sebagai frontend untuk sistem LLM sendiri
- Tim Mozilla biasanya akan memakai proyek seperti chatbot-ui, tetapi karena mereka sudah memiliki kode chatbot eksperimen internal Companion beserta pembuatnya, itulah yang digunakan sebagai UI
- Companion memungkinkan mereka mengiterasi dan bereksperimen dengan UI dengan cepat
Hasil hackathon dan tugas yang tersisa
- Saat hackathon berakhir, tim Mozilla berhasil menyelesaikan chatbot prototipe internal
- Di-host sepenuhnya di dalam Mozilla
- Dapat digunakan dengan aman dan privat
- Berusaha mencerminkan nilai-nilai Mozilla dalam perilakunya
- Dalam proses mencapai tujuan tersebut, dibutuhkan banyak pilihan sulit dan kompromi
- Pelajaran yang didapat diringkas menjadi tiga poin
- Chatbot open source masih terus berkembang, banyak hal yang harus diputuskan, dokumentasi yang jelas masih kurang, dan ada banyak cara untuk gagal
- Terlalu sulit mengevaluasi dan memilih model berdasarkan kriteria selain performa mentah, sehingga sulit juga membuat pilihan yang tepat untuk aplikasi AI yang dapat dipercaya
- Untuk saat ini, prompt engineering yang efektif sangat penting bagi keberhasilan chatbot
- Mozilla mulai menciptakan cara agar pengembang lebih mudah masuk ke ekosistem machine learning open source, dan ingin berkontribusi ke komunitas open source berdasarkan hasil kerja hackathon ini
- Di tengah ketersediaan luas LLM open source, untuk menciptakan masa depan yang lebih baik semua orang perlu ikut serta secara kolektif dan aktif dalam pembentukannya
1 komentar
Komentar Hacker News
Alasan orang ingin menghubungi perusahaan adalah karena mereka tidak menemukan jawabannya di situs, atau harus meminta staf melakukan sesuatu yang tidak bisa dilakukan lewat situs web. Misalnya membatalkan layanan
Halaman FAQ yang bisa diajak bicara tampak seperti upaya menambal pengalaman pengguna yang kurang, dan jika perusahaan tidak memasukkan informasi yang saya cari ke situs web, kemungkinan besar mereka juga tidak memasukkannya ke chatbot
Namun, chatbot bisa membantu menghubungkan ke staf yang tepat, tetapi menjadikannya penghalang sebelum bisa mendapat bantuan manusia menurut saya adalah antipola
Karena itu banyak situs menampilkan banyak pertanyaan yang merekomendasikan jawaban relevan berdasarkan deskripsi sebelum pengguna menghubungi tim dukungan, dan dukungan AWS juga seperti itu
Bot bisa menjengkelkan, tetapi juga bisa memangkas biaya dukungan pelanggan secara signifikan. Jika pengalaman penggunanya baik, dan bila bot tidak bisa menjawab bisa cepat dialihkan ke agen, saya setuju. Tentu dengan asumsi bot tidak berhalusinasi dan menyampaikan informasi palsu
Saya memakai chatbot karena tidak ada staf dukungan untuk menjawab pertanyaan. Kalau bukan bot, berarti tidak ada apa-apa
Sebagai gantinya, saya memantau log bot. Jika ada fitur yang kurang di produk atau situs web, saya menambahkannya agar pengguna berikutnya bisa menanganinya sepenuhnya secara swakelola
Pengguna bisa membatalkan akun atau mendapatkan refund kapan saja
Untuk pertanyaan seperti ini, large language model hampir sangat cocok. Hanya saja akan bagus jika bot ditingkatkan agar lebih baik mendeteksi pertanyaan yang tidak bisa dijawab langsung olehnya
Tentu ada kalanya chatbot bisa menggantikan manusia atau FAQ yang ditulis dengan baik. Namun rasa puas diri seperti ini melewatkan alasan utama mengapa dukungan begitu buruk: karena memang dirancang begitu sejak awal
Ambil contoh “hanya bisa membatalkan lewat telepon”: pendaftaran atau upsell secara teknis adalah masalah yang lebih sulit, tetapi dibuat jauh lebih mudah. Tujuannya adalah menambahkan friksi pada tindakan yang tampak sebagai biaya atau kerugian jangka pendek. Perusahaan tahu bahwa jika ada friksi, banyak orang akan menyerah atau menundanya
Ini adalah paradigma nudge sekaligus dark pattern. Lihat saja bagaimana “tolak semua” pada banner cookie biasanya disembunyikan. Nudge membuat perusahaan terlihat seolah mematuhi hukum, sambil menghindari efek keseluruhannya dengan menjadikan waktu dan perhatian pengguna sebagai biaya
Chatbot hanyalah satu lapisan lagi yang ditambahkan ke labirin dukungan
Saya sama sekali tidak menantikan masa depan ketika semua perusahaan memiliki dukungan chatbot
Sekarang pun sudah cukup umum dan membuat frustrasi, tetapi setidaknya sekitar separuhnya masih tahu bahwa mereka tidak memahami pertanyaan, sehingga masih ada jalan keluar ke manusia
Era “komputer mengatakan tidak bisa” sudah tiba
Sebagai tambahan, bukan berarti saya hanya ingin bersikap negatif dan keluar topik; tulisannya sendiri terlihat cukup bagus. Tepuk tangan untuk penulisnya. Rekayasanya keren, saya hanya tidak suka cara penggunaannya di dunia nyata
Chatbot bukan obat mujarab, tetapi bisa mengurangi banyak noise yang tidak perlu. Yang dibutuhkan adalah sesuatu yang bisa menjawab pertanyaan dasar yang diajukan pengguna rata-rata dalam domain tertentu
Tempat kerja saya sebelumnya adalah perusahaan yang cukup besar, dan instans Confluence-nya sangat besar. Saya membuang banyak waktu mencari informasi di sana. Jika ada chatbot yang dilatih dengan semua informasi itu, rasanya akan cukup berguna
Yang terlintas adalah Amazon. Saya sudah lama menjadi pelanggan, dan baru-baru ini menerima periferal komputer yang cacat
Saya menjelaskan masalahnya secara singkat ke chatbot, lalu langsung dibuatkan pesanan baru, diberi tahu bahwa barang yang sudah saya terima boleh disimpan saja, dan akan dikirim prioritas tanpa biaya tambahan
Itu saja, dan barangnya tiba keesokan harinya serta berfungsi baik
Tentu mereka mungkin tahu bahwa saya pelanggan lama dan sudah menghabiskan banyak uang, tetapi itu hampir pengalaman paling tanpa rasa sakit yang bisa dibayangkan. Jauh lebih baik daripada harus mengklik opsi di beberapa halaman web
“Yang Mulia, seluruh argumen saya omong kosong dan mengutip pasal hukum yang bahkan tidak ada, tetapi itu karena saya memakai ChatGPT” — ini benar-benar terjadi pada seorang pengacara, dan bahkan izin praktiknya tidak dicabut
Ungkapan “sudah mengubah web yang kita kenal dan cintai” memang mencari-cari kesalahan dan jelas agak keluar topik, tetapi saya tidak mencintai web saat ini
Web makin dikendalikan oleh segelintir perusahaan. Mereka memutuskan konten apa yang terlihat (meta, google), email mana yang masuk filter spam (ms, google)
Web saat ini jauh dari kata cinta. Bahkan untuk menjangkau orang-orang yang memilih mengikuti saya saja, saya harus terus berjuang
Pada akhirnya sebagian besar komunikasi saya terjadi di dunia nyata atau chat privat. Selain itu, saya juga ingin mengatakan betapa buruk dan tidak stabilnya messenger untuk bisnis
Sesuatu perlu terjadi pada web hari ini. Saya tidak tahu apa atau bagaimana, tetapi perubahan jelas saya sambut
Anda tetap harus menyediakan semua cara lain agar orang bisa mengikuti, tetapi jika mempromosikan RSS feed, orang mungkin mulai menggunakannya
Kalau ingin mencoba secara teknis, Anda bisa menyiapkan bridge ActivityPub agar bisa diikuti juga dari media sosial. Jika memakai Wordpress, ada https://wordpress.org/plugins/activitypub/
Karena sebagian besar komentar teratas tampaknya negatif terhadap chatbot, saya ingin mengatakan bahwa di tempat kerja saya dulu benar-benar ada chatbot yang bagus
Bagi saya, itu jauh lebih baik daripada mencari di Confluence, dan juga bisa menjawab pertanyaan terkait data dinamis seperti sisa hari cuti atau seberapa jauh jam kerja kita lebih/kurang dari target
Seingat saya, mereka memakai teknologi di belakangnya dengan cukup cerdas, sehingga sebagian besar pertanyaan dalam bahasa alami bisa dipahami
Pencarian Confluence itu benar-benar lelucon, dan lelucon yang buruk pula
Pelanggan memakai chatbot karena UI situs webnya membingungkan. Mereka ingin mendapatkan informasi, tetapi tidak menemukan caranya
Dulu orang mencari di Google “nama layanan + nomor telepon” atau “nama layanan + berhenti berlangganan”
Sembilan dari sepuluh kasus, situs webnya tidak ingin memberikan nomor telepon dengan mudah atau memudahkan berhenti berlangganan. Kalau sejak awal mereka tidak ingin pelanggan melakukan tindakan yang disembunyikan itu, sebenarnya chatbot dibuat untuk apa?
Saya pernah bekerja di tengah demam chatbot, dan harus mengatakan kepada beberapa klien bahwa kalau mereka tidak benar-benar berniat membantu pelanggan, tidak banyak yang bisa kami lakukan
Setidaknya untuk perusahaan yang berurusan dengan manusia, tujuan sebenarnya dari chatbot adalah menggeser UI web dan aplikasi mobile dari titik kontak pertama
Pengguna semestinya bisa berbicara dengan perusahaan melalui SMS atau chat serupa, atau panggilan telepon, dengan satu identitas
Web dan aplikasi mobile hanyalah utilitas tingkat kedua dan ketiga yang mendukung cara komunikasi utama
Alasan perusahaan sebelumnya tidak bisa melakukan ini adalah karena akurasi pemahaman bahasa belum cukup. Model bahasa besar telah mengatasi batasan itu
Bahwa bot bisa sedikit mengurangi interaksi dengan agen berdasarkan heuristik pengalaman hanyalah bonus. Berkat model bahasa besar yang lebih baik, rasio penghindaran pengalihan ke agen juga perlahan meningkat
Widget chatbot menyebalkan yang menempel di kanan bawah itu hanyalah solusi sementara sampai satu nomor telepon disediakan dan komunikasi melaluinya menjadi mulus
Terakhir, judulnya menyesatkan. Maksudnya bukan membuat chatbot open source, melainkan membuat chatbot hanya dengan library open source alih-alih alat tertutup/komersial, demi komunitas dan kemajuan AI yang lebih cepat
Disebutkan, “Kami menyiapkan server virtual sendiri di dalam akun Google Cloud Platform (GCP) Mozilla yang sudah ada. Dengan begitu, pada dasarnya kami memutuskan untuk melakukan MLOps sendiri. Namun kami bisa melangkah maju dengan keyakinan bahwa sistemnya privat dan sepenuhnya berada di bawah kendali kami.” Bagaimana menyiapkan server di dalam infrastruktur Google bisa dianggap privat dan sepenuhnya berada di bawah kendali Mozilla?
Menjelaskan sampai cara self-hosting di bare metal sudah di luar cakupan tulisan tentang membangun chatbot, dan berpura-pura VPS Google Cloud tidak aman juga terasa agak dipaksakan
ISO 27001 adalah standar internasional untuk sistem manajemen keamanan informasi, dan kepatuhan GCP menunjukkan komitmennya terhadap keamanan informasi
ISO 27017 khusus untuk keamanan cloud, dengan fokus pada kontrol yang spesifik bagi penyedia layanan cloud
ISO 27018 adalah standar terkait perlindungan informasi identitas pribadi di public cloud
Laporan SOC 2 dapat memberikan keyakinan atas kontrol terkait keamanan, ketersediaan, integritas pemrosesan, kerahasiaan, dan perlindungan privasi
Jika menangani informasi medis, kepatuhan HIPAA diperlukan, dan jika menangani data Eropa atau data warga Eropa, kepatuhan GDPR penting
Untuk pelanggan pemerintah AS, kepatuhan FedRAMP bisa menjadi wajib, dan jika memproses informasi kartu kredit, kepatuhan PCI DSS penting
Perlu dipastikan bahwa layanan yang akan digunakan di dalam GCP termasuk dalam cakupan sertifikasi yang dibutuhkan oleh industri atau kasus penggunaan tersebut. Sertifikasi seperti ini biasanya dapat diperiksa di situs Google Cloud, dan jika membutuhkan dokumen resmi, bisa juga diperoleh melalui tim penjualan atau dukungan Google
Jika penasaran bagaimana sebenarnya membuat model chat dengan database vektor seperti ini, dalam live stream minggu lalu saya menunjukkan proses membuatnya hampir dari nol di lingkungan Colab dan menjalankan inferensi dengan Llama 2 https://www.youtube.com/live/kBB1A2ot-Bw?feature=share
Tantangan besar dalam konfigurasi ini adalah melakukan pencarian kesamaan semantik dalam skala besar. Pinecone punya dokumentasi struktur data yang cukup bagus untuk menskalakan database vektor besar
Saya sudah menunggu Mozilla ikut masuk ke arus ini dan mengembangkan model bahasa besar mereka sendiri. Mengingat misi organisasi itu untuk “menjaga internet tetap terbuka dan dapat diakses oleh semua orang”, ini sangat masuk akal. Namun saya tidak tahu apakah mereka punya sumber daya atau kemauan untuk melakukannya
Disebutkan, “Ada alasan mengapa operasi machine learning, alias MLOps, menjadi bidang yang berkembang. Mendeploy dan mengelola aplikasi seperti ini sulit. Dibutuhkan pengetahuan dan keterampilan khusus yang belum dimiliki banyak developer dan operator.” Apa yang begitu sulit atau berbeda?
Saya memahaminya sebagai menjalankan web API yang memuat model sebagai aset terkompilasi. Dari sisi itu, tidak terlihat terlalu berbeda