- Membuat sesuatu yang keren dengan LLM itu mudah, tetapi membuatnya sampai level produksi sangatlah sulit
- Tulisan ini membahas tantangan utama yang perlu diselesaikan untuk memproduktisasi aplikasi LLM, cara mengintegrasikan berbagai tugas ke dalam alur kontrol, serta cara menggunakan alat dan contoh kasus yang menjanjikan
Part I. Tantangan dalam memproduksikan prompt engineering
- Ambiguitas bahasa alami
- Evaluasi prompt
- Versioning prompt
- Optimisasi prompt
- Biaya dan latensi
- Biaya
- Latensi
- Mustahilnya analisis biaya+latensi untuk LLM
- Prompting vs. fine-tuning vs. alternatif
- Prompt tuning
- Fine-tuning melalui distillation
- Embedding + vector database
- Kompatibilitas mundur/maju
Part 2. Komposabilitas pekerjaan
- Aplikasi yang terdiri dari beberapa tugas
- Agen, alat, dan alur kontrol
- Tool vs. plugin
- Alur kontrol: sekuensial, paralel, if, loop for
- Alur kontrol agen LLM
- Menguji agen
Part 3. Kasus penggunaan yang menjanjikan
- Asisten AI
- Chatbot
- Pemrograman dan game
- Pembelajaran
- Talk-to-your-data
- Bisakah LLM melakukan analisis data untuk saya?
- Pencarian dan rekomendasi
- Penjualan
- SEO
Kesimpulan
- Kita masih berada pada tahap awal aplikasi LLM. Semuanya berkembang sangat cepat
- Baru-baru ini saya melihat proposal buku terkait LLM, dan pikiran pertama saya adalah bahwa sebagian besar dari buku-buku itu akan usang dalam sebulan
- API berubah setiap hari, aplikasi baru terus ditemukan. Infrastruktur sedang dioptimalkan secara agresif
- Analisis biaya dan latensi harus dilakukan per minggu, dan istilah-istilah baru terus diperkenalkan
- Tidak semua perubahan ini penting
- Banyaknya makalah prompt engineering mengingatkan pada masa awal deep learning ketika ada ribuan makalah yang menjelaskan berbagai cara menginisialisasi bobot
- Trik untuk menyesuaikan prompt kemungkinan tidak akan penting dalam jangka panjang
- Mengingat LLM juga cukup mahir menulis prompt sendiri, siapa yang tahu apakah orang yang menyesuaikan prompt benar-benar akan dibutuhkan?
- Baru-baru ini di LinkedIn, orang-orang bertanya bagaimana cara tetap mendapatkan informasi terbaru tentang bidang ini, dan jawabannya beragam
- Abaikan (sebagian besar) hype
- Baca ringkasannya saja
- Coba semua alat
- Apa strategi Anda?
1 komentar
Terjemahan: https://docs.google.com/document/d/…