BERT Ternyata Adalah Model Difusi Teks: AI Generatif Dibuat dengan RoBERTa dalam 30 Menit

Ternyata metode pelatihan BERT yang digunakan sejak 2018 memang memiliki prinsip yang sama dengan model difusi mutakhir. Hal ini, lebih dari sekadar temuan akademis, menunjukkan kemungkinan praktis untuk mengonversi model BERT yang sudah ada menjadi model yang menghasilkan teks seperti GPT.

Poin-poin utama:

• MLM (Masked Language Modeling) pada BERT adalah proses difusi dengan rasio masking tetap: cara pelatihan BERT yang digunakan selama tujuh tahun ini ternyata sejalan dengan prinsip difusi berbasis penghapusan noise. Dengan menyesuaikan rasio masking secara variatif, model dapat diubah menjadi model generatif penuh.
• Menghasilkan teks setara GPT-2 hanya dengan 30 menit pelatihan: model RoBERTa yang ada diubah menjadi model pembuat teks melalui sedikit fine-tuning. Berbeda dengan metode GPT yang memprediksi kata satu per satu, pendekatan ini bekerja dengan merekonstruksi seluruh kalimat secara bertahap.
• Kemungkinan baru untuk pembuatan teks: menawarkan pendekatan alternatif berupa generasi berbasis difusi di luar metode autoregresif GPT. Ini menandai awal arus baru seperti Gemini Diffusion dari Google DeepMind.