Refleksi tentang OpenAI

• Penulis bergabung pada Mei 2024, bekerja di OpenAI selama sekitar satu tahun sebelum keluar, dan menuliskan secara jujur budaya internal serta suasana kerja yang sebenarnya
• Di tengah pertumbuhan supercepat (1.000 orang → 3.000 orang), proses internal, organisasi, budaya, dan cara kerja berubah dengan sangat cepat
• Budaya bottom-up/meritokrasi, kolaborasi unik yang berpusat pada Slack, daya eksekusi tinggi, visibilitas kepemimpinan dan perubahan arah yang cepat, serta sikap 'kode adalah jawabannya' meresap ke seluruh organisasi
• Budaya tim yang detail, kecepatan kerja, dan fleksibilitas organisasi sangat kuat; ada otonomi seperti 'manajer mini' pada tiap peneliti, dan proyek yang tumpang tindih serta eksperimen ide internal sering terjadi
• OpenAI digambarkan sebagai organisasi yang ambisius dan serius, yang sekaligus hidup di bawah sorotan ketat publik dan media, memiliki keamanan/kerahasiaan yang nyata, serta rasa misi dan ketegangan terkait AGI/layanan konsumen

---

Pendahuluan dan latar belakang pribadi

• Bergabung pada Mei 2024 dan baru-baru ini keluar dari OpenAI
• Melalui tulisan ini, penulis ingin membagikan budaya nyata yang dirasakan di OpenAI serta sudut pandang pribadi
• Tidak ada rahasia internal; isinya adalah gambaran terkini dari organisasi yang menarik secara historis dan pengalaman sebagai jendela kecil dari seorang karyawan
• Keputusan untuk keluar disertai konflik pribadi, tetapi juga ada kerinduan akan sesuatu yang segar setelah berpindah dari pendiri startup menjadi karyawan di organisasi besar
• Pengalaman ikut membangun AGI dan kontribusi langsung pada peluncuran Codex merupakan hal yang sangat bermakna

Budaya organisasi

• Saat bergabung jumlah karyawan 1.000 orang, lalu menembus 3.000 dalam setahun: mengalami pertumbuhan yang luar biasa cepat
• Ekspansi cepat memunculkan berbagai masalah dalam komunikasi, struktur pelaporan, peluncuran produk, dan pengelolaan organisasi
• Semua komunikasi dan pekerjaan berpusat di Slack, hampir tidak memakai email
• Setiap tim sangat berbeda budaya dan ritmenya, termasuk riset, penerapan, dan GTM (Go-To-Market) yang memiliki alur waktu berbeda
• Bottom-up dan meritokrasi yang nyata sangat kuat; peneliti dan developer secara proaktif memimpin eksperimen serta pengambilan keputusan
• Dengan budaya berbasis hasil dan mengutamakan kemampuan, yang lebih penting adalah eksekusi dan ide daripada kemampuan berpolitik
• Tanpa roadmap resmi, ada kecenderungan tim terbentuk secara alami di sekitar ide bagus lalu cepat berbelok arah
• Kepemimpinan menekankan kemampuan eksekusi (doing the right thing) dan kelincahan terhadap perubahan
• Secara internal banyak pengembangan yang tumpang tindih dan eksperimen paralel; banyak prototipe lahir sendiri, dan ini adalah 'organisasi yang digerakkan oleh kode'
• Para pemimpin lebih menilai kemampuan mengeksekusi ide nyata daripada kecakapan politik
• Para peneliti tenggelam dalam pemecahan masalah secara mandiri layaknya "eksekutif mini"
• Pengaruh manajer riset dan PM yang kompeten sangat besar
• Para EM ChatGPT sangat dapat dipercaya, merekrut talenta bagus dan memberi mereka otonomi
• Kecepatan perubahan arah sangat tinggi, dan setelah keputusan dibuat langsung dieksekusi

Cara kerja dan suasana

• Struktur channel dan perizinan Slack rumit, dan semua komunikasi terjadi di Slack
• Peran seperti tim riset/PM/EM (engineering manager) punya cara kerja masing-masing, dan perpindahan serta kolaborasi antar tim sangat fleksibel
• Sangat sensitif terhadap keamanan eksternal dan eksposur media, sehingga informasi internal seperti kinerja/pendapatan dikelola dengan ketat
• Orang-orang di dalamnya sungguh termotivasi untuk melakukan hal yang benar, dan tidak se-sinis yang dibayangkan dari luar
• OpenAI diibaratkan sebagai organisasi campuran antara 'Los Alamos (lab riset nuklir) + layanan konsumen raksasa' dengan banyak subkultur yang hidup berdampingan
• Menekankan distribusi luas manfaat AI; bahkan model terdepan tidak dibatasi hanya untuk enterprise, melainkan dibuka agar siapa pun bisa menggunakannya melalui API/ChatGPT

Keamanan dan kebijakan internal

• Isu keselamatan AI benar-benar mendapat banyak personel dan sumber daya secara internal
• Dalam praktiknya, yang lebih sering ditangani adalah risiko nyata seperti ujaran kebencian, penyalahgunaan, bias politik, prompt injection, dan self-harm
• Risiko teoretis (ledakan kecerdasan, power-seeking) ditangani oleh sebagian personel khusus, tetapi bukan arus utama
• Sebagian besar riset atau sistem terkait keselamatan tidak dipublikasikan ke luar

Lingkungan pengembangan dan teknologi

• Mono-repo raksasa dengan Python sebagai pusat, sebagian memakai Rust/Golang, dan hampir tidak ada penegakan style guide
  • Sistem berskala besar rancangan senior alumnus Google bercampur dengan Jupyter notebook yang ditulis doktor baru
  • API berpusat pada FastAPI, dengan penggunaan validasi data Pydantic yang menonjol
• Seluruh infrastruktur berjalan di atas Azure
  • Layanan yang dianggap andal terbatas pada Azure Kubernetes Service, CosmosDB, dan BlobStore
  • Level IAM dan beberapa layanan masih kalah dibanding AWS, sehingga ada kecenderungan membangun sendiri secara internal
• Masuknya banyak engineer dari Meta (dulu Facebook)
  • Nuansa infrastruktur dan codebase mirip dengan masa awal Meta/Instagram
  • Contoh: implementasi ulang TAO, penyatuan sistem autentikasi, dan seringnya membangun sistem internal sendiri
• Terasa jelas masalah khas organisasi yang tumbuh terlalu cepat seperti duplikasi kode, library alat/manajemen queue, pengelolaan backend besar (monolith), serta isu kecepatan/stabilitas CI
• Struktur pesan chat dan percakapan tertanam dalam di banyak bagian kode, dan digunakan berulang di berbagai produk
• 'Code wins': tanpa komite perencanaan pusat, kode milik tim yang benar-benar bekerja itulah yang menjadi standar
  • Wewenang pengambilan keputusan ada pada tim yang mengerjakan langsung, sebuah sistem yang mengutamakan kemampuan dan eksekusi melalui kode

Sudut pandang merek konsumen dan bisnis

• Besarnya merek Consumer: metrik inti dikelola berdasarkan langganan pengguna individu, bukan unit tim
  • Pertumbuhan produk dan traffic diukur pada tingkat konsumen, seperti 'jumlah pelanggan Pro', sesuatu yang terasa baru dan mengejutkan bagi penulis yang berasal dari organisasi B2B
• Pelatihan model dan eksperimen dimulai dari skala kecil, lalu jika berhasil diperluas menjadi rekayasa sistem terdistribusi skala besar
• Biaya GPU mendominasi secara luar biasa, bahkan fitur kecil pun membutuhkan sumber daya GPU yang sangat besar
  • Perhitungan penggunaan GPU dan benchmarking dilakukan dengan menurunkan kebutuhan dari standar pengalaman pengguna seperti latency dan jumlah token yang dibutuhkan
• Know-how mengoperasikan codebase Python berskala besar: seiring bertambahnya jumlah developer, diperlukan berbagai guardrail seperti operasi dasar, pengujian, dan pencegahan penyalahgunaan

Operasi tim dan kepemimpinan

• Kepemimpinan sangat terlihat dan terlibat langsung, dengan semua eksekutif rutin ikut berdiskusi di Slack
• Perpindahan tim dan kolaborasi sangat cepat; jika tim lain meminta bantuan, dukungan langsung diterjunkan tanpa menunggu atau prosedur panjang
• Swag internal juga jarang, dan hanya disediakan dalam bentuk penjualan terbatas di internal

Pengalaman peluncuran Codex

• Dalam 3 bulan terakhir, peluncuran Codex menjadi puncak karier penulis
• Pada November 2024 ditetapkan target meluncurkan coding agent pada 2025; sekitar Februari 2025 alat internal sudah selesai dan mulai terasa tekanan dari kecepatan persaingan pasar
• Untuk meluncurkan Codex, tim bergabung dan menyelesaikan serta merilis produk jadi (coding agent) hanya dalam 7 minggu, mewujudkan produk berdampak besar dalam waktu pengembangan singkat
  • Benar-benar begadang, bekerja di akhir pekan, dan mengurus bayi yang baru lahir secara bersamaan, menghidupkan kembali nuansa masa YC
  • Berbagai fitur seperti container runtime, optimasi repo, fine-tuning model kustom, integrasi git, dan akses internet diimplementasikan dengan cepat
  • Komposisi tim terdiri dari 8 engineer senior, 4 peneliti, 2 desainer, 2 GTM, dan 1 PM: tim kecil elite yang didominasi senior
• Sehari sebelum peluncuran, fokus pada pekerjaan akhir seperti deployment langsung
• Pada hari peluncuran, traffic membludak; hanya dengan muncul di sidebar ChatGPT saja langsung terjadi arus masuk skala besar
• Codex mengadopsi pendekatan agen asinkron (pesan pengguna-ke-agen → kerja → hasil PR dikembalikan)
  • Strukturnya memproses permintaan pengguna di lingkungan eksekusi independen lalu mengembalikan hasil PR layaknya kolaborator
  • Kepercayaan terhadap performa model dan keterbatasannya masih bercampur
  • Ada pembeda Codex dalam hal eksekusi multi-task dan kemampuan memahami codebase besar
• Dalam 53 hari setelah rilis, 630.000 PR telah dibuat, mencatat lebih dari 78.000 PR per engineer dan menghasilkan dampak yang luar biasa

Penutup dan pelajaran

• Awalnya ada ketakutan untuk bekerja di organisasi besar, tetapi ketika melihat ke belakang itu menjadi salah satu keputusan terbaik sebagai kesempatan belajar dan bertumbuh
• Semua target yang diinginkan tercapai: intuisi tentang pelatihan model, kolaborasi dengan rekan hebat, dan peluncuran produk berdampak
• Mendapat know-how mengelola codebase Python skala besar, serta pengalaman langsung dalam benchmarking GPU dan perhitungan kapasitas
• Jika Anda adalah pendiri startup atau sedang memikirkan arah karier, ini adalah saat yang layak untuk lebih berani mencoba atau mempertimbangkan bergabung dengan lab riset besar
• Persaingan menuju AGI ibarat tiga kuda, yaitu OpenAI, Anthropic, dan Google, yang masing-masing mengejar pendekatan berbeda; pengalaman bekerja di salah satunya akan memperluas cakrawala
• Pengalaman di OpenAI dinilai sebagai salah satu pilihan terbaik bagi penulis sebagai entrepreneur sekaligus engineer

[brainer]

https://id.news.hada.io/topic?id=21081 Tulisan ini cukup membekas di ingatan.

[GN⁺]

Opini Hacker News

• Tidak umum mantan karyawan menggambarkan pengalaman kerjanya secara positif; ini bukan berarti OpenAI itu istimewa, melainkan lebih menunjukkan bahwa kebanyakan post "mengapa saya keluar dari perusahaan" sebenarnya cenderung menyalahkan organisasi atas fakta bahwa individu tersebut tidak cocok dengan organisasinya. Di balik ungkapan "sangat bottom-up sampai sulit dipercaya" dalam tulisan ini, bisa jadi ada ketiadaan roadmap yang jelas dan tidak adanya proyek yang benar-benar dimiliki masing-masing orang, sehingga sebagian orang kehilangan arah. Selain itu, "berorientasi pada tindakan" dan "segera berputar arah" bisa juga berarti lingkungan yang kacau dan kepemimpinan eksekutif yang tidak konsisten. Dan kalimat "di OpenAI benar-benar banyak orang yang berniat baik" berlaku untuk kebanyakan perusahaan yang mengambil keputusan dengan penilaian moral yang rumit; semua orang menganggap dirinya orang baik dan lalu merasionalisasikannya dengan tujuan besar serta pembenaran mulia

  • Saya sama sekali tidak pernah mengkritik pemberi kerja saya di ruang publik; itu hampir pasti merugikan karier saya. Dengan rumor bahwa Altman bersifat pendendam, soal OpenAI justru harus dua kali lebih hati-hati. Bahkan tulisan ini menyebut OpenAI memantau media sosial. Mantan karyawan ini juga terlihat ingin mengelola reputasinya dengan membungkus positif masa kerja singkatnya selama 14 bulan, dan tampaknya sikap seperti ini justru menarik bagi calon pemberi kerja berikutnya
  • Ada ungkapan, "Di perusahaan tidak ada penjahat. Yang ada hanya orang baik yang merasionalisasi diri." Tapi saya pernah bekerja di perusahaan software untuk kasino, dan di sana benar-benar ada orang-orang yang terang-terangan seperti penjahat di jajaran manajemen
  • Di OpenAI, kalau setelah keluar seseorang berbicara negatif, seluruh saham/ekuitas yang sudah diberikan bisa dicabut, jadi wajar kalau cerita pengalaman positif jauh lebih umum
  • Menurut saya, Altman tampaknya fokus meyakinkan publik bahwa AGI akan segera hadir, sambil mengerahkan banyak upaya untuk menjadikan OpenAI perusahaan produk yang kuat, dan tampaknya ia memang berhasil. Di tengah kebanggaan besar dan persaingan di dalam perusahaan, mantan karyawan ini mungkin kalah dalam beberapa pertarungan politik, atau terluka karena prototipe Codex miliknya tidak diadopsi. Bisa juga karena ia sudah punya cukup uang dan pengalaman hidup sehingga tidak lagi punya dorongan untuk terus bersaing dengan talenta-talenta muda
  • Ada sangat banyak kasus di mana mantan karyawan bukan hanya menceritakan pengalaman mereka secara negatif, tetapi justru membungkusnya terlalu positif. Di perusahaan tempat saya dulu bekerja pun, lingkungan menjadi sangat toxic di bawah CEO yang diktator, dan walau banyak orang menderita, mereka tetap menulis puja-puji di blog atau LinkedIn demi pekerjaan berikutnya. Tulisan yang ramai di HN tampaknya lebih sering datang dari karyawan yang punya keterikatan dengan perusahaan dan menulis dengan rasa sayang saat melihat perusahaan atau divisinya runtuh

• Hal yang mengesankan dari tulisan ini adalah sebagai berikut

  • Kemajuan bersifat iteratif, dengan budaya bottom-up dan meritokrasi; bukan karena ada "master plan" dari manajemen, melainkan ide siapa pun bisa menjadi kenyataan, dan pemimpin dipromosikan lewat kemampuan eksekusi nyata serta ide mereka
  • Anggota tim bisa secara proaktif memulai proyek tanpa perlu izin, sehingga banyak proyek paralel muncul secara alami dan sumber daya dipusatkan pada yang punya peluang sukses
  • Orang-orang di OpenAI punya kesadaran kuat bahwa mereka bekerja dengan niat baik, dan terlepas dari kritik publik, mereka serius merasa bertanggung jawab untuk melakukan hal yang benar
  • Produk perusahaan sangat dipengaruhi sentimen publik, dan benar-benar terasa seperti perusahaan bergerak mengikuti "suasana Twitter"
  • Biaya GPU sangat dominan, sampai biaya infrastruktur lain nyaris tidak berarti; mendapatkan compute power adalah prioritas utama baik secara finansial maupun teknis
  • Menarik bahwa jalan menuju AGI dijelaskan sebagai pertarungan tiga pihak antara OpenAI (DNA produk konsumen), Anthropic (DNA enterprise), dan Google (DNA infrastruktur/data)
  • Meta juga pesaing penting dengan DNA yang berfokus pada konsumen, dan selama ini memainkan peran representatif dalam benar-benar menjadikan konsumen sebagai 'produk'

• Bagian tentang maraton pengembangan Codex sebagai pekerjaan paling berat dalam 10 tahun terakhir sangat mencolok; kebanyakan hari dihabiskan bekerja sampai pukul 11 malam~tengah malam, merawat bayi pukul 5:30 pagi, lalu berangkat ke kantor pukul 7. Di tengah atmosfer industri yang begitu ketat hingga proyek besar bisa selesai hanya dalam hitungan minggu~bulan, saya mempertanyakan apakah gaya kerja seperti ini bisa berkelanjutan bagi karyawan dalam jangka panjang

  • Kalau ada yang memaksa saya bekerja dalam mode seperti itu, saya pasti menolak. Tapi kalau itu proyek yang benar-benar saya anggap menarik dan penting, saya juga rela all-in selama beberapa minggu~bulan. Karena saya tahu setelah proyek seperti itu energi saya akan habis total, saya biasanya merencanakannya dari awal. Saya juga mendapat motivasi berkelanjutan dari komunitas yang budayanya mirip dengan saya
  • Fakta bahwa seseorang yang sudah mapan secara finansial memilih bekerja 16~17 jam sehari, 7 hari seminggu, alih-alih ikut merawat bayi, sungguh luar biasa. Ucapan "terima kasih sudah mengambil alih pengasuhan anak" kepada pasangan nikahnya sudah menjelaskan semuanya
  • Cara kerja seperti ini sama sekali tidak berkelanjutan. Tapi kalau hanya terjadi beberapa kali sepanjang karier, rasanya tetap layak dijalani, dan saya bahkan mengenal orang yang justru merasa lebih berenergi setelahnya
  • Saya bahkan tidak bisa membayangkan menyerahkan beban pengasuhan anak sepenuhnya kepada pasangan. Istri OP luar biasa, dan bagus ia menyebut itu di bagian akhir, tapi sejujurnya tetap mengejutkan
  • Melihat penulis keluar dari OpenAI setelah 14 bulan, tampaknya pola kerja seperti ini memang berujung pada burnout

• Yang benar-benar membuat saya penasaran adalah apakah OpenAI atau lab AI lain benar-benar aktif memakai LLM sebagai fondasi operasional internal mereka, misalnya untuk pengembangan kode, kustomisasi model internal, peringkasan informasi terbaru, dan tugas praktis lain dengan investasi uang dan kemampuan nyata. Saya ingin tahu soal itu, tetapi sayangnya tidak dibahas dalam artikel

• Membuat para engineer merasa bahwa mereka sedang menciptakan 'Tuhan' adalah strategi marketing kelas tertinggi. Saya sendiri tidak percaya itu benar, tetapi ide ini hampir kebal terhadap kritik; setiap saat bisa dibalas dengan pertanyaan, "Bagaimana kalau itu benar?" Karena potensi keuntungannya tak terbatas, probabilitas sekecil apa pun jadi sulit diabaikan. Bahkan jika peluangnya 0.00001%, ketika dikalikan dengan imbalan tak terbatas, nilai ekspektasinya menjadi tak terbatas. Marketing terbaik

  • Pertanyaan "Tapi bagaimana kalau itu benar?" sebagai bagian dari narasi para pengembang LLM menanamkan unsur misterius di dalamnya

• Hal yang paling ingin saya ketahui adalah seberapa besar dan dengan cara apa LLM benar-benar dipakai di dalam OpenAI untuk membangun produk

  • Penjelasan bahwa ada 78.000 pull request publik per engineer selama 53 hari terdengar seperti lelucon bahwa 99,99% di antaranya pasti ditulis oleh LLM. Saya terkejut melihat begitu banyak informasi tentang proses kerja dibuka dalam tulisan ini; bukankah biasanya hal seperti ini harus dijaga kerahasiaannya? Sebagai catatan, statistik 78.000 PR itu bukan untuk engineer Codex, melainkan berdasarkan seluruh pengguna

• Meski perusahaannya tumbuh secepat ini, kurangnya technical writer di OpenAI tetap mengejutkan. Tulisan itu hanya mengatakan dokumentasi masih bisa ditingkatkan, tetapi dibandingkan dengan tingkat dokumentasi Anthropic, sulit menemukan sesama tech writer di OpenAI. Untuk membuat developer tools yang baik, dokumentasi yang unggul itu wajib, dan harus ada tim yang secara khusus menangani dan mengembangkannya

  • Masalahnya adalah manajemen tidak merasakan nilai dokumentasi. Dulu di DigitalOcean ada tim dokumentasi teknis terbaik di industri, tetapi saat PHK, mereka termasuk yang pertama dipotong. Rasanya dokumentasi terlalu sering dipandang hanya sebagai biaya

• Tulisan ini benar-benar penuh informasi menarik yang belum pernah saya dengar sebelumnya, dan layak diluangkan waktunya untuk dibaca

• Soal pendapat penulis bahwa "keamanan lebih dipandang penting daripada yang dibayangkan," mengingat banyak pemimpin tim safety OpenAI telah keluar atau dipecat, proyek Superalignment gagal, dan karyawan lain juga menyebut kurangnya dukungan terhadap isu safety, pernyataan seperti itu terasa jauh dari kenyataan atau sengaja menyesatkan

• Bagian yang mengatakan "kebanyakan riset dimulai ketika penelitinya terobsesi pada masalah tertentu" terasa menarik. Jika diagnosis ini benar, saya rasa itu bisa menjadi tumit Achilles perusahaan

  • Namun ini bukan masalah perusahaan tertentu, melainkan masalah hakiki manusia. Peneliti papan atas memang cenderung tergila-gila pada bidang yang benar-benar mereka cintai dan rela mencurahkan waktu luar biasa besar untuknya