Tanya HN: Bagaimana cara melatih LLM/ChatGPT khusus dengan dokumen saya sendiri pada Desember 2023?

 (news.ycombinator.com)
4 poin oleh GN⁺ 2023-12-26 | 1 komentar | Bagikan ke WhatsApp

Cara menyediakan kumpulan dokumen khusus ke LLM

  • Diskusi tentang cara terbaik memberikan kumpulan dokumen milik pengguna ke LLM (Large Language Models) agar memperoleh jawaban yang relevan tanpa hasil yang tidak realistis.
  • Berfokus pada cara "mengajarkan" kumpulan dokumen tertentu kepada LLM. Ini tidak harus berarti melatih model sendiri, dan juga mencakup pendekatan seperti RAG (Retrieval-Augmented Generation).
  • Ada thread dari 5 bulan lalu, tetapi dibutuhkan informasi yang sesuai dengan kondisi per Desember 2023.

Opini GN⁺

  • Menggunakan LLM untuk mengekstrak informasi yang akurat dari kumpulan dokumen tertentu menjadi semakin penting seiring perkembangan teknologi.
  • Teknologi semacam ini membantu pengguna mendapatkan hasil khusus yang mereka inginkan, dan dapat diterapkan di berbagai bidang seperti business intelligence, riset, dan pendidikan.
  • Penting untuk memanfaatkan pendekatan yang sudah ada seperti RAG atau mencari metode baru, karena hal ini akan meningkatkan kegunaan LLM dan membantu memperoleh hasil yang lebih akurat dan dapat diandalkan.

Bacaan terkait

1 komentar

 
GN⁺ 2023-12-26
Opini Hacker News

  • Pelatihan pada dokumen sebenarnya tidak benar-benar terjadi; banyak startup memakai istilah ini, tetapi pada praktiknya mereka menggunakan RAG (Retrieval-Augmented Generation).

    • LlamaIndex dianggap sebagai opsi terbaik.
    • Sebagian besar startup yang mengklaim melakukan pelatihan pada dokumen sebenarnya menggunakan RAG.
    • Disarankan mencari skrip yang secara otomatis menghasilkan pasangan tanya-jawab dengan menggunakan qLoRA.
    • Kasus penggunaan yang berhasil untuk basis pengetahuan dokumen pribadi jarang ditemukan, dan umumnya dipakai untuk keterampilan seperti matematika, penalaran, dan Python.
    • Telah dibuktikan secara empiris bahwa sekadar memasukkan kumpulan dokumen ke fine-tuning tidak efektif.

  • Pendekatan yang berbeda perlu dipertimbangkan tergantung pada jumlah dokumen.

    • RAG bekerja baik untuk dataset kecil, dan LlamaIndex telah melakukan banyak rekayasa di bidang ini.
    • Kombinasi fine-tuning dan RAG efektif untuk dataset besar dengan pengetahuan yang mudah ditemukan di internet.
    • Pretraining berkelanjutan diperlukan jika dataset sangat besar dan berisi pengetahuan proprietari.

  • AWS Bedrock mudah digunakan; dokumen dapat diunggah ke S3 dan disinkronkan ke database vektor untuk dipakai melalui API.

    • Bedrock adalah produk yang menyediakan berbagai model dan API umum.

  • h2ogpt adalah implementasi RAG yang lengkap fiturnya, mampu menangani dokumen dalam berbagai format dan mendukung beragam implementasi hosting model.

  • Anda dapat membeli akun ChatGPT dan mengunggah dokumen sendiri, lalu membuat AI percakapan yang disesuaikan.

  • GPT-4 Assistants saat ini dapat menangani RAG secara bawaan, dan PrivateGPT adalah salah satu opsi yang cukup dikenal untuk ini.

  • Copilot Builder dari Microsoft Office memungkinkan pengguna membuat AI Copilot dalam hitungan detik dengan menentukan URL dasar, file yang diunggah, dan sebagainya.

  • Cheshire Cat adalah framework asisten AI yang menyimpan dokumen sebagai "memori" untuk diambil kembali nanti.

  • Ada panduan video tentang cara melakukan fine-tuning Mistral 7B dengan QLoRA, dengan catatan bahwa teknik RAG mungkin lebih diinginkan.