Orang-orang yang sedang melakukan fine-tuning llama2

Ini adalah contoh fine-tuning llama2 yang dibagikan di Hacker News.

Fine-tuning adalah penyesuaian tambahan pada model AI menggunakan pasangan pertanyaan dan jawaban milik kita.

Untuk melakukan fine-tuning, katanya bisa dimulai dari minimal 50 contoh, tetapi jika memungkinkan akan lebih baik memiliki lebih dari 1000 contoh.

Penulis mengatakan bahwa model Llama 7B yang telah di-fine-tuning lebih dari 50 kali lebih murah daripada GPT-3.5.

Tentu saja, membandingkan Llama 7B dengan GPT-3.5 (165B) sebenarnya kurang masuk akal, tetapi karena model GPT yang sudah di-fine-tuning tidak murah, saya jadi berpikir bahwa kasus penggunaan Llama dengan fine-tuning mungkin akan semakin bertambah.

[laeyoung]

"You can run 70B LLAMA on dual 4090s/3090s with quantization. Going with dual 3090s you can get a system that can run LLAMA 2 70B with 12K context for < $2K.

I built two such a systems after burning that much in a week on ChatGPT."

https://news.ycombinator.com/item?id=37489601

Komentarnya cukup mengesankan. Kalau melihat komentar lanjutannya, katanya tiap tim mengelola data dalam format yang berbeda-beda, lalu mereka menormalkannya dengan ChatGPT dan berhasil menyamakan format data hanya dalam 1 minggu. Kalau digabungkan sebaik ini?!

[wislan]

Wah, ini ide yang bagus. Saya terkesan karena sampai CEO replicate ikut muncul dan berkomentar.
Saya juga ingat pendapat bahwa biaya GPT-3.5 (diperkirakan turbo) dan biaya llama 70b akan mirip.
Saya pribadi berniat memakai GPT di pekerjaan, tetapi saya melihat mulai bermunculan startup yang mengambil keuntungan dengan llama + fine-tuning, jadi saya membawanya ke sini.