State of GPT [Video 42 Menit]

 (build.microsoft.com)
34 poin oleh xguru 2023-06-01 | 2 komentar | Bagikan ke WhatsApp
  • Presentasi oleh Andrej Karpathy di Build 2023
  • Terdiri dari 2 bagian
    • Cara melatih asisten (Chat)GPT
    • Cara menerapkan asisten ini ke aplikasi Anda
  • Menjelaskan secara luas tentang Tokenization, Pretraining, Supervised Finetuning, Reinforcement Learning from Human Feedback, dll.,
    serta memperkenalkan strategi prompt, berbagai alat ekosistem, dan perluasan di masa depan

Bacaan terkait

2 komentar

 
kuroneko 2023-06-01

Setelah diringkas, hasilnya kurang lebih seperti ini.

  • Model bahasa besar seperti GPT dilatih melalui tahap pra-pelatihan pada data teks dalam jumlah besar dan fine-tuning yang terdiri dari penyesuaian untuk tugas tertentu.
  • Pra-pelatihan mencakup prediksi kata berikutnya dalam sebuah urutan untuk mempelajari representasi bahasa secara umum. Fine-tuning menyesuaikan model untuk tugas tertentu.
  • Prompting juga dapat digunakan untuk menerapkan model bahasa pada suatu tugas tanpa fine-tuning, dengan memberikan prompt agar model menghasilkan respons.
  • Supervised fine-tuning melatih model asisten menggunakan data berlabel yang berisi prompt dan respons ideal.
  • Kinerja dapat ditingkatkan lebih lanjut dengan melakukan reinforcement learning from human feedback untuk melatih model asisten agar menghasilkan respons yang dinilai tinggi oleh manusia.
  • Teknik prompt engineering, seperti menampilkan proses kerja model langkah demi langkah atau memberikan contoh, dapat meningkatkan kinerja model bahasa.
  • Karena model bahasa tidak memiliki monolog internal dan kemampuan penalaran seperti manusia, prompting perlu menutupi kekurangan tersebut.
  • Memberikan akses kepada model bahasa ke alat eksternal, kalkulator, dan basis pengetahuan dapat meningkatkan kinerja.
  • Fine-tuning sebagian model bahasa untuk tugas tertentu dapat meningkatkan kinerja, tetapi lebih kompleks.
  • Berbagai keterbatasan model bahasa masih tetap ada, seperti bias, kesalahan penalaran, dan kerentanan terhadap serangan.
 
xguru 2023-06-01

https://www.youtube.com/watch?v=bZQun8Y4L2A
Video yang sama juga ada di YouTube, tetapi di situs Microsoft tersedia subtitle bahasa Korea yang diterjemahkan oleh AI, jadi saya membagikan yang itu.