Ask HN: Per Desember 2023, bagaimana cara melatih LLM/ChatGPT kustom dengan dokumen saya?

 (news.ycombinator.com)
4 poin oleh GN⁺ 2023-12-26 | 1 komentar | Bagikan ke WhatsApp
  • Ada thread terkait dari 5 bulan lalu, tetapi informasinya mungkin sudah usang, jadi mencari kembali pendekatan per Desember 2023
  • Inti pertanyaannya adalah cara terbaik untuk memberikan kumpulan dokumen kustom ke LLM agar mendapatkan jawaban berkualitas cukup baik dengan sedikit halusinasi
  • Tidak terbatas hanya pada pelatihan model sendiri, tetapi mencakup berbagai cara membuat model menjawab pertanyaan berdasarkan dokumen, termasuk pendekatan seperti RAG

Bacaan terkait

1 komentar

 
GN⁺ 2023-12-26
Opini Hacker News

  • Pelatihan pada dokumen sebenarnya tidak benar-benar terjadi; banyak startup memakai istilah ini, tetapi pada praktiknya mereka menggunakan RAG (Retrieval-Augmented Generation).

    • LlamaIndex dianggap sebagai opsi terbaik.
    • Sebagian besar startup yang mengklaim melakukan pelatihan pada dokumen sebenarnya menggunakan RAG.
    • Disarankan mencari skrip yang secara otomatis menghasilkan pasangan tanya-jawab dengan menggunakan qLoRA.
    • Kasus penggunaan yang berhasil untuk basis pengetahuan dokumen pribadi jarang ditemukan, dan umumnya dipakai untuk keterampilan seperti matematika, penalaran, dan Python.
    • Telah dibuktikan secara empiris bahwa sekadar memasukkan kumpulan dokumen ke fine-tuning tidak efektif.

  • Pendekatan yang berbeda perlu dipertimbangkan tergantung pada jumlah dokumen.

    • RAG bekerja baik untuk dataset kecil, dan LlamaIndex telah melakukan banyak rekayasa di bidang ini.
    • Kombinasi fine-tuning dan RAG efektif untuk dataset besar dengan pengetahuan yang mudah ditemukan di internet.
    • Pretraining berkelanjutan diperlukan jika dataset sangat besar dan berisi pengetahuan proprietari.

  • AWS Bedrock mudah digunakan; dokumen dapat diunggah ke S3 dan disinkronkan ke database vektor untuk dipakai melalui API.

    • Bedrock adalah produk yang menyediakan berbagai model dan API umum.

  • h2ogpt adalah implementasi RAG yang lengkap fiturnya, mampu menangani dokumen dalam berbagai format dan mendukung beragam implementasi hosting model.

  • Anda dapat membeli akun ChatGPT dan mengunggah dokumen sendiri, lalu membuat AI percakapan yang disesuaikan.

  • GPT-4 Assistants saat ini dapat menangani RAG secara bawaan, dan PrivateGPT adalah salah satu opsi yang cukup dikenal untuk ini.

  • Copilot Builder dari Microsoft Office memungkinkan pengguna membuat AI Copilot dalam hitungan detik dengan menentukan URL dasar, file yang diunggah, dan sebagainya.

  • Cheshire Cat adalah framework asisten AI yang menyimpan dokumen sebagai "memori" untuk diambil kembali nanti.

  • Ada panduan video tentang cara melakukan fine-tuning Mistral 7B dengan QLoRA, dengan catatan bahwa teknik RAG mungkin lebih diinginkan.