Meninggalkan Meta dan PyTorch

• South Chintala, yang telah memimpin PyTorch selama sekitar 8 tahun, mengumumkan bahwa ia akan meninggalkan Meta dan PyTorch setelah 11 tahun berkarier di sana
• PyTorch kini mendukung pelatihan exascale dan telah mencapai berbagai pencapaian luas seperti pengoperasian foundation model serta pemanfaatan di lingkungan pendidikan di seluruh dunia
• Ia menilai bahwa PyTorch telah cukup matang untuk beroperasi secara mandiri, dan yakin pada stabilitas kepemimpinan penerus
• Ia menyampaikan rasa terima kasih dan refleksi atas kolaborasi dengan rekan-rekan sejak masa FAIR, budaya open source, dan pertumbuhan komunitas pengguna
• Secara pribadi, ia berencana memulai proyek kecil di luar Meta demi tantangan baru

---

Perpisahan dengan Meta dan PyTorch

• Selama 11 tahun bekerja di Meta, ia memimpin PyTorch selama sekitar 8 tahun dan mencapai tingkat adopsi lebih dari 90% di industri AI
  • PyTorch kini mendukung pelatihan exascale dan menjalankan foundation model yang mendefinisikan ulang kecerdasan
  • Digunakan di lingkungan pendidikan mulai dari MIT hingga wilayah pedesaan di India, dan target peningkatan aksesibilitas hampir tercapai
• Ia menyebut bahwa secepat apa pun perkembangan AI, PyTorch harus terus berkembang, tetapi juga menegaskan bahwa proyek ini sudah mencapai banyak hal
• Ia menyampaikan terima kasih kepada semua kolaborator yang percaya pada kekuatan open source dan budaya riset yang menyenangkan
• Ia sebenarnya bisa berpindah ke peran lain di dalam Meta, tetapi memutuskan keluar demi tantangan baru dan rasa ingin tahu
• Ia menutup tulisannya dengan pesan, “Mari buat AI lezat dan mudah diakses,” sambil menyatakan akan tetap terlibat di komunitas ke depannya

Stabilitas PyTorch ke depan

• Ia tidak pernah ingin memegang PyTorch selamanya, dan merencanakan kepergian dengan tujuan meninggalkan proyek dalam kondisi stabil
  • Sejak akhir 2024 ia mulai mempersiapkan pengunduran dirinya, dan pada Agustus 2025 ia yakin tim sudah mampu beroperasi secara mandiri
• Edward, Suo, Alban, Greg, John, Joe, Jana, dan personel inti lain menyelesaikan persoalan produk dan organisasi secara otonom
• Ia menekankan ketangguhan organisasi dengan menyoroti konsistensi cerita produk di PyTorch Conference dan perbaikan atas masalah-masalah masa lalu
• Greg, Alban, Ed, Jason, Joe, dan lainnya terus meneruskan nilai dan budaya PyTorch, dan ada banyak orang yang selaras dengan nilai tersebut
• Ia menyebut secara spesifik kemampuan teknis dan pengalaman kolaborasi John, Suo, dan Jana, seraya menyatakan keyakinan pada keberlanjutan tim

Waktu di Meta

• Ia mengenang masa awal FAIR sebagai “masa yang penuh keajaiban,” ketika ia terlibat dalam berbagai proyek seperti riset GAN, bot Starcraft, pembangunan klaster FAIR, deteksi objek, dan pengembangan PyTorch
• Ia menilai periode 2015–2016 sebagai masa paling produktif dan menyenangkan
• Ia juga menyebut bahwa mentoring dari Andrew Tulloch sangat membantunya pada masa-masa awal bergabung

Perjalanan pengembangan PyTorch

• Ia terlibat langsung di seluruh proses PyTorch, mulai dari desain, pengelolaan, dokumentasi, hingga distribusi, dan melihatnya tumbuh menjadi produk berskala ratusan orang
• Ia menyampaikan terima kasih kepada para engineer, peneliti, kontributor open source, penulis dokumentasi, dan mitra hardware di dalam maupun luar Meta
• Ia menyebut banyak tokoh kunci seperti Adam Paszke, Sam Gross, Greg Chanan, Joe Spisak, Alban Desmaison, Edward Yang
• Ia mengenang kisah seorang mahasiswa pascasarjana di NeurIPS 2017 yang berhasil menyelesaikan riset berkat PyTorch, dan dari sana benar-benar merasakan dampak terhadap pengguna
• PyTorch Conference tumbuh dari pertemuan akrab berisi 300 orang menjadi acara industri berskala 3.000 orang, dan ia menyatakan kebanggaannya atas dampak yang makin meluas

Ucapan terima kasih

• Ia menyebut Mark Zuckerberg dan Mike Schroepfer mendukung strategi open source, sehingga FAIR dan PyTorch dapat terwujud
• Ia menyampaikan terima kasih kepada Yann LeCun dan Rob Fergus atas pembangunan FAIR pada masa awal
• Ia sangat menghargai kepemimpinan teknis dan kemampuan eksekusi Aparna Ramani
• Ia juga menyebut sambutan hangat dan kolaborasi dari tim infrastruktur seperti Santosh, Kaushik, Delia, Oldham, Ben
• Ia berterima kasih kepada para manajer seperti Serkan, Howard, Jerome, Abhijit, Yoram, Joelle, Aparna, Damien

Salam penutup

• Ia menegaskan bahwa “ini bukan perjalananku, melainkan perjalanan kita,” untuk menyoroti pencapaian bersama
• Ia mengatakan bahwa ke depan ia akan mencoba “hal-hal yang kecil, baru, dan tidak nyaman”
• Ia meninggalkan pesan dukungan kepada komunitas PyTorch agar terus membuat AI lezat dan mudah

[GN⁺]

Komentar Hacker News

• Banyak komentar tampaknya menilai PyTorch secara retrospektif. Namun saat Soumith Chintala ikut mengembangkan PyTorch, hampir tidak ada lingkungan pengembangan yang cepat dan interaktif. JAX pun belum ada.
  Pada masa itu, PyTorch jauh lebih baik sampai-sampai semua peneliti yang mencobanya ingin segera beralih. Andrej Karpathy juga menulis dalam tweet tahun 2017, “Saya sudah memakai PyTorch beberapa bulan dan hidup saya berubah” (tautan tweet).
  Terima kasih atas dedikasi luar biasa Soumith selama bertahun-tahun, dan semoga sukses dalam perjalanan berikutnya

  • Chainer sudah lebih dulu memperkenalkan model define-by-run. Framework itu dikembangkan oleh perusahaan kecil di Jepang, dan versi awal PyTorch secara jelas menyatakan bahwa mereka sangat dipengaruhi oleh Chainer
  • PyTorch terinspirasi dari library Python Autograd sekitar tahun 2015. Bahkan, sistem diferensiasi otomatis di PyTorch memang bernama ‘autograd’. JAX adalah penerus langsung dari Autograd, dan sebagian pengembangnya masih bekerja di tim JAX hingga sekarang. Adam Paszke, salah satu penulis bersama PyTorch, juga kini terlibat dalam proyek JAX dan Dex (riwayat Autograd, arsip pengenalan PyTorch)

• Saya termasuk salah satu orang yang direkrut langsung dan bekerja bersama Soumith di Meta dan PyTorch.
  Soumith selalu memandang PyTorch sebagai proyek yang berpusat pada komunitas. Ia merayakan kontribusi semua orang, bukan hanya para rekan pencipta seperti Adam dan Sam, tetapi juga dalam integrasi dengan tim Caffe2.
  Sejak awal, PyTorch dirancang sebagai framework terbuka untuk komunitas riset, dan sepanjang pertumbuhannya Soumith terus mengajak orang dan organisasi baru untuk ikut terlibat.
  Ia benar-benar magnet talenta, dan berkat itu banyak orang hebat mencurahkan semangat mereka untuk mengembangkan PyTorch.
  Bahkan setelah ia pergi, PyTorch kini sudah berada pada tahap yang cukup mandiri. Inilah gambaran keberhasilan open source yang sesungguhnya

  • Saya juga pernah bekerja dengan Soumith, dan dia benar-benar figur legendaris. Ia memimpin perubahan besar sambil tetap rendah hati, tidak politis, dan membantu orang-orang di sekitarnya bertumbuh. Saya sungguh mendoakan yang terbaik untuknya

• Hal yang menarik dari kejadian ini adalah bahwa ini tampak seperti sinyal bahwa di dalam Meta tidak ada aset eksklusif terkait AI.
  Rasanya mirip dengan mitos yang percaya bahwa riset militer jauh lebih maju daripada kenyataannya.
  Pada akhirnya, laboratorium AI di big tech pun tampaknya hanya mengulang pekerjaan yang tidak terlalu berbeda dari yang sudah ada, tanpa teknologi rahasia yang istimewa

  • Rasanya itu penafsiran yang berlebihan. Soumith sudah bekerja di Meta selama 11 tahun, kemungkinan sudah menerima kompensasi saham yang cukup. Selain itu, ia baru punya anak, dan work-life balance di Meta kurang baik.
    Di sisi lain, Meta belakangan juga sedang bergeser fokus ke LLM, sehingga peran lama PyTorch berkurang. Kalau melihat semua ini, waktunya pindah kerja terlihat cukup alami
  • Teknologi militer justru dalam banyak kasus tertinggal dari sektor sipil. Kerahasiaan menghambat kolaborasi, dan faktor politik membuat inefisiensi makin besar
  • Kepergian Soumith tampaknya tidak ada hubungannya dengan orisinalitas AI di Meta. Ini hanya soal momen ketika ia menginginkan perubahan baru.
    Bahkan di tengah klaim industri AI belakangan bahwa ‘AGI akan segera hadir’, para pengembang internal pun tidak terlalu bersemangat. Karpathy kembali ke pendidikan atau Mira Murati mendirikan startup juga berada dalam konteks yang sama
  • Ia hanya mengatakan ingin fokus pada hal-hal kecil. Kita bahkan belum tahu apakah proyek barunya akan terkait AI
  • Siapa pun yang pernah menangani langsung peralatan militer tahu bahwa apa yang disebut ‘teknologi militer canggih’ kebanyakan hanyalah teknologi lama yang sudah teruji dengan komponen murah. Seperti Raspberry Pi di dalam drone Rusia, kenyataannya sering kali mengejutkan karena begitu biasa

• Antusiasme Soumith itu menular. Saya membaca paper DCGAN lalu bereksperimen dengan Lua Torch, dan hasilnya berjalan baik bahkan pada dataset kecil Oxford flowers.
  Soumith sampai merasa takjub dan membagikan hasil itu di media sosial.
  Pada waktu itu, PyTorch dan Lua Torch jauh lebih mudah digunakan dibanding TensorFlow, dan kodenya punya struktur yang mudah diutak-atik, sehingga peneliti bisa bereksperimen dengan bebas

  • Ada komentar yang menanyakan apa itu dataset Oxford flowers dan di mana bisa mendapatkannya

• Bagian dari pernyataan Soumith yang paling berkesan adalah, “Saya ingin mencoba hal-hal kecil dan baru, yang belum sepenuhnya saya pahami, yang terasa tidak nyaman.”
  Di dalam Meta pun ia sebenarnya bisa mengambil peran lain, tetapi ia memilih mengikuti rasa ingin tahu yang menuntutnya keluar. Rasanya seperti ‘Siddhartha kembali ke hutan’

  • Saya setuju dengan ungkapan “bayangan Siddhartha”, tetapi pada saat yang sama ia juga seseorang yang sedang mencoba menjauh sejenak dari megacorp dengan pengaruh sosial yang sangat besar

• Sebagai pengguna JAX, saya menghormati kesuksesan PyTorch. Setelah TensorFlow 1 melakukan kesalahan, PyTorch lalu mendominasi ekosistem AI.
  Saya juga berharap Matt Johnson, yang mengembangkan Autograd menjadi JAX, suatu hari akan mendapat pengakuan tinggi seperti Soumith

  • Ada komentar yang bertanya mengapa TensorFlow dianggap gagal
  • Ada juga pertanyaan apakah orang tersebut pernah memakai JAX dan PyTorch sekaligus, dan kenapa lebih memilih JAX
  • JAX memang luar biasa, tetapi ada kekhawatiran soal ketidakstabilan proyek di Google. Selalu ada risiko ia digantikan sewaktu-waktu oleh versi yang tidak kompatibel seperti JAX 2.0

• Library dasar Torch juga benar-benar alat yang menyenangkan untuk dipakai. Di Rust ada binding seperti tch dan Burn, dan itu terintegrasi dengan baik dengan libtorch.
  Kelebihan PyTorch adalah ia memungkinkan debugging dinamis. Dulu kita bisa menghentikan model langsung dari terminal dan memeriksa state internalnya, dan saya masih merindukan pengalaman itu

  • Karena itu juga, dulu saya menulis banyak kode yang mengerikan, tetapi masa itu benar-benar masa kejayaan

• Ucapannya yang paling mengena adalah, “Saya berada di posisi di mana semua perusahaan AI besar dan vendor hardware utama bisa menghubungi saya, tetapi pada akhirnya rasa ingin tahu menang.”
  Semoga ia bisa kembali menciptakan alat baru yang kuat sekali lagi

  • Saat rasa ingin tahu hilang, semuanya runtuh. Saya sangat paham perasaan itu.
    Saya juga pernah melalui masa ketika harus lama mengerjakan hal-hal yang tak bermakna demi menyambung hidup, jadi saya bahkan iri ia bisa mengambil keputusan seperti itu

• Kalimat “PyTorch diajarkan mulai dari MIT sampai ruang kelas di pedesaan India” juga berkesan.
  Saya malah merasa beberapa ruang kelas di India mungkin lebih baik daripada kampus teknik elite di AS dalam hal akses pendidikan dan pembelajaran berbasis praktik

  • ‘Kampus teknik elite’ di AS pada kenyataannya sering dinilai berdasarkan status sosial dan rekam jejak riset, sementara kualitas pengajarannya kerap rendah
  • Sebaliknya, pendidikan tradisional di India juga dikritik karena terlalu berfokus pada hafalan dan ujian. Ada juga pendapat bahwa kampus teknik di AS memang tidak sempurna, tetapi masalah dalam pendidikan ala India tetap serius

• Sebagai orang yang memakai PyTorch setiap hari, saya sungguh berterima kasih kepada Soumith dan timnya.
  Berkat alat ini, saya bisa langsung bereksperimen dengan ide-ide yang dulu hanya bisa saya bayangkan.
  PyTorch sudah menjadi bagian besar dari hidup saya, dan saya mendoakan semoga perjalanan berikutnya berjalan baik