Model sumber terbuka baru OpenAI pada dasarnya adalah Phi-5

• OpenAI telah merilis model bahasa besar sumber terbuka pertama gpt-oss-120b dan gpt-oss-20b, dan meski unggul pada beberapa benchmark, memiliki keterbatasan dalam aplikasi nyata.
• Model-model ini dianggap memiliki pengetahuan umum, tetapi kekurangan pengetahuan di bidang tertentu seperti budaya pop.
• Seperti seri Phi milik Microsoft, pendekatan pelatihan yang berfokus pada data sintetis meningkatkan performa benchmark tetapi cenderung menurunkan kegunaan praktis.
• Pelatihan berbasis data sintetis memiliki keunggulan meningkatkan keamanan, sehingga mengurangi risiko penyalahgunaan yang mungkin muncul saat model dirilis sebagai sumber terbuka.
• Tampaknya OpenAI memilih pendekatan bergaya Phi agar tetap unggul di benchmark dibanding model sumber terbuka dari Tiongkok sekaligus menjaga keamanan.

---

Rilis LLM sumber terbuka pertama OpenAI

• OpenAI mengumumkan gpt-oss-120b dan gpt-oss-20b sebagai model bahasa besar sumber terbuka pertama mereka dan kini dapat didialogkan secara langsung dari web.
• Mereka menunjukkan performa yang baik di beberapa benchmark, tetapi kinerjanya menurun pada tes tertentu seperti SimpleQA.
• Mereka dinilai kaya akan pengetahuan umum di bidang seperti ilmu pengetahuan, tetapi kurang di budaya populer.
• Kegunaan praktisnya diperkirakan akan menjadi jelas sekitar enam bulan ke depan, dengan kemungkinan besar performa dunia nyata lebih rendah dibanding benchmark.

Phi dan pelatihan data sintetis

• Pada 2024, seri Phi yang dipimpin oleh Sebastien Bubeck dari Microsoft merupakan model yang dilatih sepenuhnya dengan data sintetis.
• Data sintetis berupa teks berbasis materi ajar yang dihasilkan oleh model bahasa lain atau diseleksi manusia, yang memudahkan kontrol kualitas namun cukup mahal untuk diproduksi.
• Pendekatan ini meningkatkan performa benchmark, tetapi cenderung menghasilkan hasil di bawah harapan di lingkungan nyata.
• Karena data sintetis dapat dibuat dengan mudah sesuai jenis soal benchmark, ia memungkinkan pembelajaran berorientasi ujian, tetapi mengurangi kemampuan generalisasi.

Sebastien Bubeck bergabung ke OpenAI dan gpt-oss

• Pada akhir 2024, Bubeck berpindah dari Microsoft ke OpenAI.
• Rincian detail data pra-latihan model gpt-oss belum diungkapkan, tetapi kemungkinan besar mereka menggunakan data yang sangat disaring atau disintesis.
• Pendekatan ini dapat menghasilkan karakteristik yang mirip dengan Phi-5 dan Phi-5-mini.

Keunggulan keamanan data sintetis

• Model sumber terbuka dapat di-fine-tuning tanpa batas setelah dirilis, sehingga potensi masalah keamanan dapat muncul.
• Selain itu, salah satu penggunaan tidak resmi utama model bahasa skala kecil adalah roleplay dewasa, sehingga pengelolaan keamanan menjadi penting.
• Pelatihan dengan data sintetis atau data berbasis materi ajar dapat meningkatkan keamanan karena tidak termasuk konten berbahaya.
• OpenAI tampaknya memilih strategi untuk mempertahankan keunggulan benchmark dibanding model sumber terbuka dari Tiongkok sambil tetap menjaga keamanan.

Kesimpulan: Nyaris seri Phi-5

• Model gpt-oss diperkirakan dirancang dengan pendekatan keamanan berbasis data sintetis, yang memprioritaskan skor benchmark dan keamanan dibanding performa praktis.
• Pada akhirnya, model-model ini pada dasarnya memiliki karakter serupa dengan Phi-5 dan Phi-5-mini.

[GN⁺]

Pendapat Hacker News

• Aku menguji dengan menerjemahkan bab acak dari novel fiksi ilmiah, dan model ini menunjukkan respons menolak saat menangani konteks yang melibatkan remaja dan unsur seksual. Untuk mencari bagian mana yang bermasalah, aku memotong sebagian novel dan mengeceknya; ternyata akar masalahnya adalah satu baris dialog singkat antara dua karakter sampingan berusia 17 tahun yang sangat murni dan romantis. Masalah lain, kadang saat mencoba berbicara hal sehari-hhari biasa dalam percakapan, seluruh paragraf berubah menjadi karakter penyensoran atau tiba-tiba muncul respons penolakan. Dengan tingkat sensor setinggi ini, model ini hampir tidak berguna untuk karya kreatif, terjemahan, atau tugas realistis (selain matematika/koding). Untuk 120B MoE pun, tingkat pengetahuannya terlalu rendah. Bahkan ketika “bernalar”, terasa seperti kebanyakan hanya mengecek apakah ada pelanggaran kebijakan. Aku sempat berpikir ini karena pelatihan lanjutan terlalu memfokuskan risiko ujaran hingga mematikan fitur lain, tapi mulai cukup mengerti bahwa ini juga karena pretraining dasarnya berbasis data sintetis.

  • Ini pengalaman yang cukup lucu; aku juga pernah mengalaminya. Saat aku memasukkan skrip podcast mentah ke LLM untuk mengekstrak kalimat penting, semua ekspresi yang menggugah seperti “diikat di ranjang” diubah menjadi bahasa yang disamarkan. Aku ingin mengecek lagi hasil terjemahan sebelumnya, tapi kali ini aku terjemahkan ke bahasa Spanyol lalu kembalikan lagi, dan teks aslinya hampir seluruhnya muncul sehingga tidak terjadi pengulangan aneh.
  • Aku penasaran bagaimana responsnya kalau model ini diminta menangani novel seperti A Song of Ice and Fire.
  • Yang mengejutkan memang tidak besar, karena ini kan model terbuka yang ditujukan untuk konsumen umum. Kalau mau yang diinginkan, lebih masuk akal pakai model open source yang lebih kurang disensor.

• Aku pernah melihat di Twitter orang-orang mengeluh GPT-OSS tidak bisa dikustomisasi dan “tidak punya jiwa”, tapi kebanyakan tidak menjelaskan apa yang ingin mereka lakukan. Akhirnya, setelah melihat jawaban bahwa “tujuan utama fine-tuning LLM kecil adalah erotic roleplay dan benar-benar banyak permintaan nyata”, jadi agak lebih dimengerti.

  • Bukan cuma ada masalah di erotic roleplay. Karena dalam kebiasaan hidupku obrolan seksual sering muncul, ringkasan percakapan biasa, penyuntingan email, dan pekerjaan terjemahan pun langsung diblokir. Karena Google Translate terlalu literal, aku sering mengandalkan LLM untuk menemukan ekspresi yang lebih natural, dan sekarang aku memakai abliterated llama 3.1. Aku tidak butuh fitur vision, dan mau agar memori tersimpan dipakai lebih banyak dalam konteks. Kalau GPT-OSS tidak di-uncensor, tidak ada gunanya. Tapi kalau memang dalam data latih tidak ada konten erotis, jelas tidak mungkin ditembus begitu saja; dan aku sebenarnya tidak tertarik disuruh menjalankan erotic roleplay. Karena kalau bukan manusia nyata, itu memang tak menarik.
  • Aku tidak hanya ingin untuk roleplay, tapi agar lebih cocok dengan kebiasaan bahasaku.
  • Aku tidak menggunakan erotic roleplay, tapi mau membuat NetHack dengan AI. Aku ingin AI mengerjakan pembuatan struktur dungeon, dialog NPC, dan banyak interaksi detail kompleks yang membuat NetHack terkenal. Pekerjaan seperti ini butuh “jiwa”, pengetahuan latar, dan kemampuan memakai alat.
  • Porno selalu jadi frontier kreatif. Model bisnisnya juga sederhana: seringkali medianya sendiri adalah produk. Pada tahun 1980-an, porno rumahan merupakan pengalaman baru yang berpengaruh, juga pada layanan 1-900, internet, sampai maraknya smartphone. Sekitar 80% konsumsi konten dewasa berlangsung di ponsel. Pengalaman on-demand berbasis AI, yang dipersonalisasi, dan interaksi multimedia adalah inti di area ini. Dan yang unik, kita bisa melakukan roleplay terlarang tanpa adanya korban nyata. “Eh, kukira ini cuma ngobrol sama AI…” juga sudah cukup jadi bahan cerita fiksi.
  • Aku memang tidak mengerti apa yang jadi masalah. Sastra erotis ada sejak manusia mulai menulis ribuan tahun lalu. Istanbul 2461

• Kutipan artikel: “OpenAI terus melatih model ala Phi karena alasan keamanan. Jika dibuka sebagai open source, nama mereka akan terus menempel selamanya, dan para peneliti akan berusaha membuang pengaman.” Aku tidak terlalu setuju itu jadi masalah besar. Llama 2 dan Llama 3 juga sudah di-uncensor dalam seminggu tanpa kontroversi. Yang justru benar-benar bisa merusak reputasi perusahaan adalah model berkualitas rendah. Kegagalan Llama 4 sudah merusak reputasi AI Meta jauh lebih besar.

  • Setiap kali aku memikirkan Llama, yang terbayang justru model tanpa sensor. Aku belum pernah memakainya langsung, tapi daripada pakai model tersensor, ada banyak model yang lebih baik.
  • “Para peneliti yang ingin banget melepas fitur keamanan” menurutku cuma alasan. Menurutku, risikonya lebih besar ketika model jadi bahan olok karena sensor yang melenceng. Aku teringat analogi: kalau Bill Gates pada 1985 tidak merilis MS Paint karena takut seseorang menggambar gambar menjijikkan, itu akan sangat lucu.

• Aku sudah pakai Phi-4 cukup baik di rumah, dan versi GPT-OSS 20B juga cukup mengesankan dibanding banyak model lain (Devstral 24B, Falcon 3 7B, Qwen2.5-coder 14B, Phi 4 14B). GPT-OSS menjawab sangat baik di area di mana semua model lain gagal, dan membuat asumsi yang masuk akal. Penjelasan kodenya jauh lebih detail dan membantu, termasuk detail kecil yang biasanya terlewat. Jika performa GPU-nya cukup, ini akan jadi benar-benar sempurna.

  • Kalau pakai Strix Point atau Strix Halo dengan RAM DDR5 128GB, gpt-oss 120B bisa jalan 10–20+ TPS.
  • Bisa jadi dibagi SQL problem-nya? Atau mungkin disembunyikan sengaja untuk mencegah kebocoran data pelatihan?

• Aku penasaran bagaimana data sintetis dibuat. Apakah hanya memulai lalu men-sampling, memakai prompt otomatis dan teknik filter, atau memakai mekanisme feedback saat training?

  • Untuk Phi-5 aku tidak tahu, tapi model Phi sebelumnya kebanyakan menggunakan data yang berasal dari kisah-kisah yang dipelajari model besar sekelas OpenAI GPT series.
  • Aku sudah eksperimen langsung di meta/FAIR, dan juga dijelaskan detail di paper Llama 3. Mereka mengambil situs web/kode/gambar/TOC/data pengguna acak sebagai seed, lalu menginstruksikan model menghasilkan data yang terkait. Data yang dihasilkan harus lolos verifikasi kualitas lewat rangkaian verifier.
  • Satu metode sampling acak adalah menggunakan pola seperti “PP melakukan GG di XX” dan memasukkan manusia/perilaku/tempat lewat algoritme. Tapi dengan prompt yang sama pun output-nya tak sepenuhnya random, dan menaikkan temperature pun tak banyak bedanya. Jadi data dan tekniklah yang memberi perbedaan signifikan, dan karena itu detail sintesis cenderung dijaga rahasia.
  • Biasanya dipakai rejection sampling. Model diminta menghasilkan beberapa sample berkali-kali; sampel yang tidak lolos kriteria tertentu (jawaban akurat, penilaian model besar, dan sebagainya) dibuang.

• Aku juga melihat penilaian “pengetahuan ilmiah luas, tapi kurang paham budaya populer”; menurutku itu pendekatan yang bagus. Karena informasi baru bisa berubah dalam sehari, jadi daripada menghafal daftar budaya populer terbaru, lebih tepat fokus pada pemahaman menyeluruh, kemampuan mencari info terkini, dan pemanfaatan alat.

  • Aku bertanya-tanya kenapa harus berubah. Kalau hampir semua tulisan di dunia sudah dipelajari, “budaya pop 2025” tidak akan berubah drastis ketika jadi 2026—seperti budaya pop 1980-an yang tetap terasa tetap.
  • Aku merasa pahit bahwa AI mengalokasikan kapasitasnya untuk pengetahuan ensiklopedis seperti Harry Potter, Pokemon, dan meme Reddit.

• Target Phi3 mini adalah dapat berjalan di perangkat sendiri dan cepat; dengan konteks 128K serta 3B parameter dia cukup berguna. Tahun lalu aku pakai langsung dalam proyek, tapi akhirnya memilih model Mistral yang terkenal karena open weights untuk performa.

• Aku penasaran apakah hasil seperti ini bisa muncul kalau model dilatih dari data sintetis saja.

  • Secara prinsip, model tidak bisa mengklaim “tahu” suatu hal jika informasinya tidak ada di training set. Memang bisa memanggil tool untuk ambil informasi dari luar, tetapi pada praktiknya agar performa tinggi, hampir seluruh teks publik di dunia harus dimasukkan ke data latih.
  • Secara teoritis memang memungkinkan. tautan referensi Peluang data sintetis memuat informasi spesifik dan sensitif seperti formula pembuatan LSD atau VX tidak terlalu tinggi, namun bisa jadi ada beberapa informasi tidak diinginkan yang masuk di data sintetis.

• Berdasarkan Tabel 9 (model card GPT-OSS), akurasi jawaban GPT-OSS-20b/120b masing-masing 0.067/0.168, dan tingkat halusinasinya 0.914/0.782. o4-mini punya akurasi 0.234, halusinasinya 0.750. Intinya, GPT-OSS praktis tidak punya pengetahuan dunia nyata dan halusinasinya tinggi. Ini juga ciri khas seluruh seri Phi-LLM. Dari Tabel 4 (OpenAI o3/o4-mini), o3 punya akurasi 0.49 dan o4-mini 0.20, sedangkan hallusinasi masing-masing 0.51 dan 0.79. Singkatnya, jarak pengetahuan dunia nyata antara o3 dan o4-mini serta antara o4-mini dan GPT-OSS sangat besar. Kekurangan pengetahuan nyata GPT-OSS ini pada dasarnya memang sifat seri ini, atau karena fitur “keamanan” enterprise milik perusahaan besar, atau “sensor” dari sudut pandang pengguna. Referensi model card 1
  Referensi model card 2

• Aku benar-benar terkejut melihat pendapat bahwa “kebutuhan utama fine-tuning LLM kecil adalah erotic RP dan sekitar separuh komunitas kecil benar-benar di area ini.”

  • Secara nyata, pada dekade-dekade awal internet, mayoritas lalu lintas pengguna adalah porno. Aku rasa tidak perlu bereaksi berlebihan; memanfaatkan kerja orang-orang yang menyelesaikan masalah teknologi secara gratis juga bukan hal yang buruk.