Fine-tuning Mistral 7B pada draft Magic: The Gathering

Ringkasan: Menjelajahi teknik fine-tuning AI

• Efektivitas dan tingkat kesulitan teknik fine-tuning
  • Fine-tuning melengkapi kemampuan GPT-4 dan menjanjikan efisiensi kecepatan serta biaya.
  • Untuk mengatasi kurangnya informasi tentang seberapa efektif dan sulit fine-tuning dalam praktik, penulis melakukan eksperimen langsung.

Memilih masalah

• Menguji kemampuan penalaran model melalui draft Magic: The Gathering (MTG)
  • MTG adalah permainan kartu strategis, dan draft adalah metode membangun dek dengan memilih kartu dari kumpulan kartu acak.
  • Draft cocok sebagai tugas yang kompleks karena membutuhkan penalaran dan pemahaman terhadap data baru.
  • Menggunakan data historis berskala besar yang disediakan oleh layanan bernama 17lands, pilihan draft para pemain terbaik dipakai sebagai "ground truth".

Hasil dan ringkasan

• Kinerja model 7B yang di-fine-tune
  • Model 7B yang di-fine-tune melampaui GPT-4 dan menunjukkan kinerja yang mendekati tingkat manusia.
  • Fine-tuning GPT-3.5 mungkin menghasilkan hasil yang lebih baik, tetapi biayanya sangat tinggi.
  • Fine-tuning masih merupakan proses eksperimental, terutama karena prompt engineering memakan banyak waktu.
  • Setelah fine-tuning pada set kartu baru, model juga menunjukkan kemampuan generalisasi pada set kartu yang belum pernah dilihat.

Laporan lapangan: metode dan proses pembelajaran

• Membangun data
  • Data format file CSV dari 17lands diubah ke format teks agar cocok untuk fine-tuning.
  • Pemformatan data merupakan proses yang menantang dan eksperimental.
• Menjalankan fine-tuning
  • Karena masalah akses GPU, GPU per jam disewa dari Runpod.
  • Menggunakan axolotl untuk menerapkan optimasi fine-tuning dengan lebih mudah.
• Evaluasi
  • Penting untuk menyiapkan kriteria evaluasi sebelum memulai eksperimen.
  • Menetapkan kriteria evaluasi untuk model bahasa bisa menjadi hal yang sulit.

Pelajaran utama

• Efek fine-tuning
  • Fine-tuning pada data baru lebih unggul daripada GPT-4 dari sisi akurasi dan biaya.
  • Fine-tuning membutuhkan proses eksperimental agar dapat dilakukan dengan benar, dan merupakan keahlian khusus yang lebih sulit dipelajari dibanding prompt engineering.

Informasi tambahan terkait Magic

• Kinerja bot draft AI yang di-fine-tune
  • Dikembangkan aplikasi pendamping draft yang terhubung ke log Magic Arena menggunakan model draft.
  • Model yang di-fine-tune menghasilkan pilihan, sementara GPT-4 memberikan penjelasan.
  • Dengan mensimulasikan beberapa bot draft AI, model menunjukkan kinerja yang mirip dengan drafter manusia.

Opini GN⁺

Poin terpenting dari tulisan ini adalah bahwa teknik fine-tuning memiliki potensi untuk melampaui performa model bahasa besar yang ada (seperti GPT-4), dan melalui hal itu dapat secara signifikan meningkatkan tingkat pemahaman serta efisiensi AI untuk tugas tertentu. Tulisan ini menarik karena memperlihatkan proses konkret fine-tuning dan efeknya melalui contoh penerapan nyata, yang juga dapat membantu insinyur perangkat lunak pemula memahami potensi perkembangan teknologi AI dan cara penerapannya.

[GN⁺]

Komentar Hacker News

• Menarik karena ini menunjukkan bahwa dalam fine-tuning LLM, bahkan konsep yang sederhana pun bisa sulit diwujudkan. Bahkan dengan dataset awal dan model yang berkualitas, ini tetap merupakan tugas yang menantang.
• Ini memberi kesan bahwa LLM cocok untuk masalah yang tidak memiliki satu jawaban alami yang benar. Memilih kartu yang sempurna secara komputasional tidak mungkin, tetapi memilih kartu yang bagus itu mungkin, dan LLM dapat mendekati performa setingkat manusia.
• Tampaknya ada himpunan masalah yang bisa diselesaikan dengan melakukan fine-tuning pada LLM. Mungkin ini bukan perubahan yang revolusioner dalam kehidupan sehari-hari, tetapi menarik untuk membayangkan melawan bot dengan gaya bermain yang unik dalam game seperti Magic: the Gathering.
• Muncul pertanyaan tentang cara mengekstrak "data yang benar" dengan menganalisis pilihan draft para pemain terbaik. Data yang diurutkan berdasarkan win rate bisa jadi mencerminkan pemain yang paling beruntung, bukan pemain terbaik.
• LLM mungkin memiliki sebagian pengetahuan tentang aturan, tetapi kemungkinan besar terutama mempertimbangkan kelangkaan kartu, biaya, dan sebagainya. Ini menimbulkan pertanyaan tentang "akurasi" draft tersebut.
• Daripada membuat loss LLM menjadi 0, mungkin akan membantu untuk menggunakan weighted loss dengan Axolotl. Adaptasi domain juga bisa membantu dalam fine-tuning.
• Prompt yang diberikan kepada agen tampaknya hanya berisi nama kartu dan tidak mempertahankan konteks dengan pilihan sebelumnya. Ini menunjukkan bahwa bot membuat draft yang bagus mungkin murni karena kebetulan.
• Dibagikan tautan tentang kasus seseorang meretas Magic the Gathering: Arena dan mencapai win rate 100%. Ini menyiratkan bahwa AI virtual MTGA bernama Sparky mungkin tidak terlalu kompleks.
• Ada ketertarikan pada fine-tuning LLM untuk Magic: The Gathering. Sedang membangun browser kemiripan kartu dan telah mencoba berbagai prompt dengan InstructorXL, tetapi hasilnya masih belum memuaskan. Postingan ini memberi inspirasi.
• Muncul rasa penasaran apakah mungkin menggunakan model kecil yang memperlakukan setiap kartu sebagai token, lalu memakai status draft sebagai input untuk memprediksi kartu yang akan dipilih.
• Akan menarik untuk membandingkannya dengan melatih jaringan saraf untuk melakukan draft tanpa menggunakan Mistral sebagai titik awal. Tidak jelas mengapa komponen LLM itu penting.
• Fakta bahwa draft dapat direpresentasikan dengan LLM sangat menarik. AI draft terbaik menggunakan representation learning dalam suatu bentuk.