Model sumber terbuka baru OpenAI pada dasarnya adalah Phi-5

• OpenAI telah merilis model bahasa besar sumber terbuka pertama gpt-oss-120b dan gpt-oss-20b, dan meski unggul pada beberapa benchmark, memiliki keterbatasan dalam aplikasi nyata.
• Model-model ini dianggap memiliki pengetahuan umum, tetapi kekurangan pengetahuan di bidang tertentu seperti budaya pop.
• Seperti seri Phi milik Microsoft, pendekatan pelatihan yang berfokus pada data sintetis meningkatkan performa benchmark tetapi cenderung menurunkan kegunaan praktis.
• Pelatihan berbasis data sintetis memiliki keunggulan meningkatkan keamanan, sehingga mengurangi risiko penyalahgunaan yang mungkin muncul saat model dirilis sebagai sumber terbuka.
• Tampaknya OpenAI memilih pendekatan bergaya Phi agar tetap unggul di benchmark dibanding model sumber terbuka dari Tiongkok sekaligus menjaga keamanan.

---

Rilis LLM sumber terbuka pertama OpenAI

• OpenAI mengumumkan gpt-oss-120b dan gpt-oss-20b sebagai model bahasa besar sumber terbuka pertama mereka dan kini dapat didialogkan secara langsung dari web.
• Mereka menunjukkan performa yang baik di beberapa benchmark, tetapi kinerjanya menurun pada tes tertentu seperti SimpleQA.
• Mereka dinilai kaya akan pengetahuan umum di bidang seperti ilmu pengetahuan, tetapi kurang di budaya populer.
• Kegunaan praktisnya diperkirakan akan menjadi jelas sekitar enam bulan ke depan, dengan kemungkinan besar performa dunia nyata lebih rendah dibanding benchmark.

Phi dan pelatihan data sintetis

• Pada 2024, seri Phi yang dipimpin oleh Sebastien Bubeck dari Microsoft merupakan model yang dilatih sepenuhnya dengan data sintetis.
• Data sintetis berupa teks berbasis materi ajar yang dihasilkan oleh model bahasa lain atau diseleksi manusia, yang memudahkan kontrol kualitas namun cukup mahal untuk diproduksi.
• Pendekatan ini meningkatkan performa benchmark, tetapi cenderung menghasilkan hasil di bawah harapan di lingkungan nyata.
• Karena data sintetis dapat dibuat dengan mudah sesuai jenis soal benchmark, ia memungkinkan pembelajaran berorientasi ujian, tetapi mengurangi kemampuan generalisasi.

Sebastien Bubeck bergabung ke OpenAI dan gpt-oss

• Pada akhir 2024, Bubeck berpindah dari Microsoft ke OpenAI.
• Rincian detail data pra-latihan model gpt-oss belum diungkapkan, tetapi kemungkinan besar mereka menggunakan data yang sangat disaring atau disintesis.
• Pendekatan ini dapat menghasilkan karakteristik yang mirip dengan Phi-5 dan Phi-5-mini.

Keunggulan keamanan data sintetis

• Model sumber terbuka dapat di-fine-tuning tanpa batas setelah dirilis, sehingga potensi masalah keamanan dapat muncul.
• Selain itu, salah satu penggunaan tidak resmi utama model bahasa skala kecil adalah roleplay dewasa, sehingga pengelolaan keamanan menjadi penting.
• Pelatihan dengan data sintetis atau data berbasis materi ajar dapat meningkatkan keamanan karena tidak termasuk konten berbahaya.
• OpenAI tampaknya memilih strategi untuk mempertahankan keunggulan benchmark dibanding model sumber terbuka dari Tiongkok sambil tetap menjaga keamanan.

Kesimpulan: Nyaris seri Phi-5

• Model gpt-oss diperkirakan dirancang dengan pendekatan keamanan berbasis data sintetis, yang memprioritaskan skor benchmark dan keamanan dibanding performa praktis.
• Pada akhirnya, model-model ini pada dasarnya memiliki karakter serupa dengan Phi-5 dan Phi-5-mini.