Menyetel Llama 2 Anda Sendiri Secara Presisi untuk Menggantikan GPT-3.5/4

• Di HN, minat terhadap fine-tuning LLM open source meningkat pesat (misalnya: postingan Anyscale)
• Berbagi pengalaman, wawasan, dan kode praktis dari beberapa tahun bekerja dengan fine-tuning model
• Menyediakan sekumpulan notebook yang membahas pelabelan data, fine-tuning, menjalankan inferensi secara efisien, serta evaluasi biaya/kinerja
• Melatih model 7B yang mencocokkan label GPT-4 hingga 95% pada test set
• Apa itu fine-tuning? Bentuk prompting yang lebih kuat daripada sekadar menulis instruksi dalam teks
• Fine-tuning melatih model yang sudah ada menggunakan pasangan input/output contoh untuk pembelajaran model yang disetel
• Kelebihan dan kekurangan prompting dan fine-tuning
• Keunggulan besar fine-tuning: jauh lebih efektif untuk mengarahkan perilaku model, sehingga model yang jauh lebih kecil pun sudah memadai
• Model Llama 7B yang sudah di-fine-tune 50 kali lebih murah per token daripada GPT-3.5, dan memberikan hasil yang sama atau lebih baik untuk banyak use case
• Contoh: mengklasifikasikan 2M resep dengan GPT-4 memerlukan biaya $23k, tetapi model yang kami fine-tune menunjukkan performa serupa GPT-4 dan hanya memerlukan biaya $19 untuk menjalankan seluruh dataset
• Sedang mengembangkan produk open source bernama OpenPipe
• Produk OpenPipe membantu engineer mengadopsi fine-tuning sesederhana mungkin
• Postingan ini dibuat untuk membagikan hal-hal yang dipelajari tentang fine-tuning

[GN⁺]

Komentar Hacker News

• Artikel tentang penggunaan fine-tuning model Llama 2 sebagai alternatif GPT-3.5/4
• Beberapa pengguna menemukan bahwa untuk tugas terjemahan, GPT-3.5 100 kali lebih murah daripada Llama 2, dan Llama 7B memberikan hasil terjemahan yang buruk
• Strategi harga OpenAI yang agresif untuk GPT-3.5 diduga sebagai upaya mendorong ketergantungan pada model mereka dibanding penyedia lain
• Dibahas kemungkinan menggunakan output dari GPT dan LLM lain untuk melatih model pengganti internal, yang bisa menjadi solusi hemat biaya bagi mereka yang memakai API reguler pada skala produksi
• Muncul keraguan atas klaim bahwa model Llama 7B yang di-fine-tune 50 kali lebih murah daripada GPT-3.5; beberapa pengguna menyarankan itu hanya bisa dicapai lewat self-hosting
• Dipertanyakan efektivitas fine-tuning dibanding LoRA
• Beberapa pengguna berpendapat bahwa perbandingan antara model Llama yang di-fine-tune dan GPT-3.5 menyesatkan, dengan mengutip masalah pencapaian latensi inferensi yang memadai dan skalabilitas
• Kualitas model Llama 2 yang di-fine-tune belum tentu lebih baik daripada ChatGPT; fine-tuning memerlukan dataset berkualitas tinggi yang tidak mudah dibangun
• Dipertanyakan konsistensi dan tingkat kesalahan pada function calling GPT
• Pengguna penasaran LLM open-source mana yang terbaik untuk di-fine-tune menjadi model mereka sendiri
• Diminta kejelasan apakah dataset fine-tuning harus berupa pasangan input/output atau bisa bersifat autoregresif
• Pengguna tertarik pada materi untuk mempelajari cara melakukan fine-tuning pada model-model ini, terutama untuk pemula
• Artikel ini dianggap sebagai sumber yang berharga bagi orang-orang yang baru mulai di bidang ML/LLM.