• Mengatasi kompleksitas model produksi: Sistem rekomendasi Netflix yang ada sebelumnya bergantung pada ribuan fitur buatan tangan dan arsitektur yang kompleks, sehingga biaya untuk menambahkan use case baru tinggi. GenRec berbasis large language model (LLM) dikembangkan untuk menggantikannya.
• Pipeline inti GenRec: GenRec mengubah riwayat pengguna, metadata item, dan konteks menjadi prompt bahasa alami (verbalization), lalu menggabungkan foundation LLM yang di-fine-tune dengan data khusus Netflix dan scoring head yang sadar katalog untuk menghasilkan peringkat rekomendasi.
• Framework pelatihan 2 tahap: Pada Phase 1, LLM open source diadaptasi dengan korpus Netflix untuk mempelajari konten dan pola perilaku, sementara pada Phase 2 dilakukan post-training berdasarkan data ranking dan tujuan reward.
• Penerapan context engineering: Untuk mengatasi batasan token budget, diterapkan context engineering yang mempertahankan interaksi bersinyal tinggi, menghilangkan event bersinyal rendah, atau mengompresi perilaku berulang, sehingga token dan biaya berkurang besar tanpa menurunkan kualitas.
• Fungsi objektif ranking berbobot reward: Dengan menggunakan fungsi loss berbobot reward yang mencerminkan proksi kepuasan anggota jangka panjang dan tujuan bisnis (penyesuaian ulang berdasarkan jenis konten dan tahap rilis), optimasi dapat melampaui sekadar klik.
• Inferensi prefill-only berbasis vLLM: Pada stack serving LLM internal yang memanfaatkan vLLM, GenRec berjalan dalam mode prefill-only alih-alih decoding autoregressive, sehingga skor seluruh kandidat dihitung dalam satu forward pass untuk mengoptimalkan biaya serving.
• Hasil online A/B test: Dalam A/B test skala besar selama 4 minggu pada sekitar 10% traffic, GenRec mencatat peningkatan yang signifikan secara statistik pada metrik online jangka pendek dan jangka panjang dibanding model ranking produksi yang ada, meski hanya menggunakan data berlabel Phase-2 dan sinyal input yang jauh lebih sedikit.
Belum ada komentar.