Setiap kali Karpathy keluar dari sebuah perusahaan, rasanya bidang ini naik satu tingkat karena ia membuat materi edukasi yang luar biasa pada waktu luangnya
Ada contohnya? Saya tidak terlalu familier dengan bidang ini
Benar, kali ini semoga banyak keluar konten terkait open source
Karpathy benar-benar guru yang hebat. Saya pernah mengikuti kelas computer vision-nya, dan berharap ia lebih banyak mengajar serta menekuni hal itu dengan serius
Fakta bahwa seseorang adalah influencer AI populer tidak berarti ia peneliti yang baik, dan malah tampaknya berkorelasi negatif cukup kuat dengan menjadi pemimpin bisnis atau founder yang baik
Saya berharap ia kembali santai menekuni seni yang kini sangat dibutuhkan tetapi seolah hilang: menjelaskan hal rumit dengan elegan, dan tidak terlalu berbelok ke arah membuang waktu bersama para penipu di Silicon Valley
Semakin dipikir, tweet sendiri yang langsung masuk halaman depan Hacker News sepertinya bisa cukup memengaruhi seseorang. Karena nama dan pengaruh, tawaran serta peluang berdatangan, tetapi itu belum tentu karena posisi tersebut benar-benar paling cocok
Andai saja pengetahuan diberi imbalan dengan benar. YouTube tampaknya yang paling mendekati, tetapi para edukator YouTube pun menunjukkan betapa banyak waktu yang harus mereka habiskan untuk mengejar views alih-alih mengajarkan keahlian
Soal tawaran yang berdatangan karena nama dan pengaruh, padahal bisa berbeda dari kecocokan sebenarnya, sayangnya terasa seperti ringkasan kehidupan. Jarang sekali orang yang paling cocok mendapatkan posisi tertentu; mereka bisa tersaring karena overqualified, gugur di tahap HR, atau ditolak karena alasan samar seperti kewajiban kembali ke kantor, menolak counteroffer, atau faktor ilegal yang tidak diungkap
Ini permainan yang buruk, jadi sulit menyalahkan orang yang memanfaatkan kartu yang ada di tangannya
Kadang saya berharap profesi mengajar secara keseluruhan lebih dihargai. Saya ingin mencari nafkah dengan mengajar tanpa melakukan riset
Menurut saya guru yang baik akan menjadi peneliti yang hebat. Karena mereka harus memahami bidangnya dengan sangat baik, mengantisipasi dan mengajukan sendiri pertanyaan yang diperlukan, selalu melihat bidangnya dengan mata baru, pandai berkolaborasi, dan yang terpenting punya kemampuan komunikasi yang baik
Edukator hebat seperti Karpathy membangun sesuatu dari nol dan menjelaskannya sampai saya bisa paham. Saya penasaran apakah ini soal kemampuan instrukturnya, atau karena murid seperti saya tidak punya kemampuan untuk memahami materi lain
Koreksi kecil, bukan “b-lined” melainkan bee-lined
Biasanya saya tidak menunjukkan hal seperti ini, tetapi “b-lined” bisa terbaca sebagai kebalikan makna, yaitu prioritas rendah seperti “B-list celebrity”
Jujur saja, OpenAI tampaknya cepat kehilangan kilau
Plugin gagal, GPTs sedikit lebih baik tetapi belum terlihat product-market fit-nya. GPT-4 masih berada di takhta, tetapi tidak sedominan dulu, dan karena mereka tidak mempublikasikan paper, tidak jelas juga apakah risetnya berjalan baik
Sekarang GPT-5 harus luar biasa bagus, tetapi entah apakah benar akan begitu
Saya tahu bidang ini bergerak sangat cepat, tetapi GPT-4 belum genap setahun dirilis. Mengatakan mereka kehilangan kilau hanya karena tidak merilis model baru berskala pergeseran tektonik setiap kuartal terdengar agak konyol
Karena popularitasnya meledak dan pertanyaan etis juga menjadi lebih penting, mungkin mereka perlu waktu untuk mematangkan beberapa hal dengan benar alih-alih langsung merilis apa pun terlebih dahulu
Saya baru saja mencoba Gemini Ultra, dan cukup terkejut karena jauh lebih buruk daripada GPT-4. Dengan beberapa pertanyaan coding saja, ia setiap kali berhalusinasi tentang sintaks baru yang tidak ada, lalu terus bertanya apakah ingin lanjut dengan opsi A atau B yang tidak berfungsi dan bahkan tidak benar-benar ada, sehingga menjadi buang-buang waktu yang aneh dan menyebalkan
Pada akhirnya, setelah menghabiskan satu jam hanya untuk mencoba membuatnya mengeluarkan hasil dalam bahasa yang saya minta, saya baru sadar bahwa itu sama sekali tidak berguna
Mengejutkan bahwa Google tertinggal sejauh ini dan merilis benda yang tidak bernilai seperti ini. Apalagi mereka mencoba memungut bayaran untuknya, nyalinya juga luar biasa
Tentu saja saya menantikan GPT-5, tetapi dengan peningkatan kecil saja OpenAI masih jauh di depan
Karyawan Google mungkin berharap OpenAI menghilang. Karena gara-gara OpenAI, Google terlihat persis seperti perusahaan semacam IBM
Adegan lucunya ada di sini: https://twitter.com/Suhail/status/1757573182138290284
Jika menjalankan model Mistral 80GB dengan Ollama, hasilnya setara atau lebih baik daripada ChatGPT 3.5. Menurut saya ini bagus bagi dunia karena sihir itu tidak lagi hanya milik OpenAI
Kecepatan para pesaing mengejar ketertinggalan bahkan dalam 3 bulan terakhir saja sungguh mengejutkan
Bagus jika OpenAI cepat kehilangan kilau
Saya sama sekali tidak tahu apa yang sebenarnya terjadi di dalam perusahaan itu, tetapi perilaku para karyawan di Twitter saat Altman tersingkir benar-benar menakutkan, penuh tanda bahaya dan aura buruk
Mungkin ini opini yang tidak populer, tetapi menurut saya reputasi dan pengaruh Karpathy hampir seluruhnya berasal dari fakta bahwa ia adalah pendidik dan komunikator yang luar biasa
Dibandingkan dengan reputasi itu, saya tidak begitu tahu seberapa besar kontribusi nyatanya dalam mendorong AI maju
Saya sangat berterima kasih atas konten edukasinya, dan senang bahwa berkat itu ia bisa memperoleh pengaruh dan mempertahankan karier. Semoga itu cukup membuatnya kaya sehingga bisa fokus 100% pada pendidikan
Tidak setuju. Menurut saya nilai materi edukasi yang bagus sering diremehkan. Karpathy membawa energi baru ke bidang AI yang penuh dengan penjelasan matematis yang terlalu rumit dan padat
Misalnya, CS 231 adalah salah satu kelas AI/ML paling populer di Stanford. Jika memikirkan jumlah mahasiswa yang mengambil kelas itu sekitar 2015–2017 lalu kemudian berkembang di bidang AI, tidak berlebihan mengatakan sebagian besar kredit layak diberikan kepada kelas itu
Pengajar yang bisa membimbing langkah demi langkah sambil menunjukkan betapa sederhananya sesuatu bisa dibuat sangatlah berharga. Mereka berperan penting dalam menurunkan hambatan masuk ke bidang ini
Dalam jangka panjang, talenta baru yang masuk ke AI berkat materi seperti yang dibuat Karpathy akan menghasilkan terobosan besar. “Hacker's Guide to Neural Networks” miliknya, meski sudah hampir 10 tahun, memberi saya momen ‘aha’ paling jelas dalam memahami backpropagation
Pendidikan dan komunikasi itu penting. Keduanya menarik orang baru ke bidang ini, membantu orang yang sudah ada di dalamnya berkembang, dan sama-sama esensial bagi pertumbuhan serta kemajuan jangka panjang
Menyebut hanya aktivitas non-edukatif sebagai “kontribusi nyata” adalah cara bicara yang sepenuhnya meremehkan peran pendidik hebat dalam derap kemajuan. Tanpa pendidikan seperti itu, kita akan berada di mana sekarang?
Ia berkontribusi dalam mendorong AI maju. Tidak perlu menambahkan embel-embel “nyata”. Kehilangan pendidik hebat harus dianggap sama disayangkannya dengan kehilangan engineer hebat
Karpathy melakukan riset perintis dalam image captioning, dan menyelaraskan ruang makna visual dan teks. Ini adalah fondasi konseptual bagi generator gambar modern
Ia juga menganalisis recurrent neural network dengan sangat baik, dan termasuk salah satu penjelasan awal sekaligus terbaik tentang apa yang terjadi di dalam model bahasa
Kolom komentar Hacker News adalah salah satu forum yang paling tidak punya legitimasi untuk menilai CV seseorang secara terbuka. Mungkin kecuali parlemen
Ia mengatakan “rencana saat ini adalah mengerjakan proyek pribadi dan melihat bagaimana hasilnya. Orang-orang yang sudah lama mengikuti mungkin punya gambaran seperti apa itu”—ada yang tahu maksudnya?
Sepertinya ia merujuk ke seri YouTube-nya. Menarik untuk ditunggu
Di profil lamanya tertulis bahwa ia sedang membuat JARVIS di OpenAI
Dalam seri videonya, ia sedang membuat versi GPT-3 yang kecil dan efisien
Bisa dilihat di GitHub: https://github.com/karpathy
Ia juga tertarik pada model open-source dan ada di /r/localllama
Dengan kemampuan bercerita dan memecahkan kubus, sepertinya ia juga akan cukup sukses di pesta anak-anak. Ditambah lagi ia bisa mengajar dan membuat sesuatu. Ia belum mendaki Everest, kan?
Sangat setuju. Itu cerpen yang bagus. Semoga suatu saat bisa melihatnya dalam bentuk yang lebih panjang
Apakah ia akan fokus penuh ke kanal YouTube? Saya menantikannya. Kontennya benar-benar bagus
Saya juga menantikannya. Miniatur Python untuk recurrent neural network seperti char-rnn yang ia rilis sekitar 8 tahun lalu sangat membantu saya belajar
Kalau begitu, sepertinya ia mengorbankan jutaan dolar. Tentu saja mungkin kondisinya baik-baik saja dan bisa pensiun dini, tetapi tetap saja jutaan dolar itu uang yang besar
Artikel itu berada di balik paywall kuat, jadi saya akan menggabungkan komentar-komentar tersebut ke sini. Mohon tunggu sebentar
Melihat tweet tersematnya, “bahasa pemrograman baru yang paling panas adalah bahasa Inggris”, pesan di akhir tulisannya “orang-orang yang mengenalku tahu apa yang akan kulakukan ;)” sepertinya mengisyaratkan semacam developer tool
Untuk seorang visioner teknologi, itu terdengar masuk akal, dan para hacker tampaknya pada akhirnya tidak bisa menahan diri untuk membuat alat yang membuat diri mereka sendiri lebih baik
Ada informasi yang lebih baik daripada tebakan iseng saya?
Ia akan menjadi YouTuber penuh waktu
Ia beberapa kali pernah berspekulasi tentang sistem operasi berbasis LLM. Kalau itu, akan sangat keren
1 komentar
Pendapat di Hacker News
Setiap kali Karpathy keluar dari sebuah perusahaan, rasanya bidang ini naik satu tingkat karena ia membuat materi edukasi yang luar biasa pada waktu luangnya
Karpathy benar-benar guru yang hebat. Saya pernah mengikuti kelas computer vision-nya, dan berharap ia lebih banyak mengajar serta menekuni hal itu dengan serius
Fakta bahwa seseorang adalah influencer AI populer tidak berarti ia peneliti yang baik, dan malah tampaknya berkorelasi negatif cukup kuat dengan menjadi pemimpin bisnis atau founder yang baik
Saya berharap ia kembali santai menekuni seni yang kini sangat dibutuhkan tetapi seolah hilang: menjelaskan hal rumit dengan elegan, dan tidak terlalu berbelok ke arah membuang waktu bersama para penipu di Silicon Valley
Semakin dipikir, tweet sendiri yang langsung masuk halaman depan Hacker News sepertinya bisa cukup memengaruhi seseorang. Karena nama dan pengaruh, tawaran serta peluang berdatangan, tetapi itu belum tentu karena posisi tersebut benar-benar paling cocok
Soal tawaran yang berdatangan karena nama dan pengaruh, padahal bisa berbeda dari kecocokan sebenarnya, sayangnya terasa seperti ringkasan kehidupan. Jarang sekali orang yang paling cocok mendapatkan posisi tertentu; mereka bisa tersaring karena overqualified, gugur di tahap HR, atau ditolak karena alasan samar seperti kewajiban kembali ke kantor, menolak counteroffer, atau faktor ilegal yang tidak diungkap
Ini permainan yang buruk, jadi sulit menyalahkan orang yang memanfaatkan kartu yang ada di tangannya
Biasanya saya tidak menunjukkan hal seperti ini, tetapi “b-lined” bisa terbaca sebagai kebalikan makna, yaitu prioritas rendah seperti “B-list celebrity”
Jujur saja, OpenAI tampaknya cepat kehilangan kilau
Plugin gagal, GPTs sedikit lebih baik tetapi belum terlihat product-market fit-nya. GPT-4 masih berada di takhta, tetapi tidak sedominan dulu, dan karena mereka tidak mempublikasikan paper, tidak jelas juga apakah risetnya berjalan baik
Sekarang GPT-5 harus luar biasa bagus, tetapi entah apakah benar akan begitu
Karena popularitasnya meledak dan pertanyaan etis juga menjadi lebih penting, mungkin mereka perlu waktu untuk mematangkan beberapa hal dengan benar alih-alih langsung merilis apa pun terlebih dahulu
Pada akhirnya, setelah menghabiskan satu jam hanya untuk mencoba membuatnya mengeluarkan hasil dalam bahasa yang saya minta, saya baru sadar bahwa itu sama sekali tidak berguna
Mengejutkan bahwa Google tertinggal sejauh ini dan merilis benda yang tidak bernilai seperti ini. Apalagi mereka mencoba memungut bayaran untuknya, nyalinya juga luar biasa
Tentu saja saya menantikan GPT-5, tetapi dengan peningkatan kecil saja OpenAI masih jauh di depan
Adegan lucunya ada di sini: https://twitter.com/Suhail/status/1757573182138290284
Kecepatan para pesaing mengejar ketertinggalan bahkan dalam 3 bulan terakhir saja sungguh mengejutkan
Saya sama sekali tidak tahu apa yang sebenarnya terjadi di dalam perusahaan itu, tetapi perilaku para karyawan di Twitter saat Altman tersingkir benar-benar menakutkan, penuh tanda bahaya dan aura buruk
Mungkin ini opini yang tidak populer, tetapi menurut saya reputasi dan pengaruh Karpathy hampir seluruhnya berasal dari fakta bahwa ia adalah pendidik dan komunikator yang luar biasa
Dibandingkan dengan reputasi itu, saya tidak begitu tahu seberapa besar kontribusi nyatanya dalam mendorong AI maju
Saya sangat berterima kasih atas konten edukasinya, dan senang bahwa berkat itu ia bisa memperoleh pengaruh dan mempertahankan karier. Semoga itu cukup membuatnya kaya sehingga bisa fokus 100% pada pendidikan
Artikel itu menginspirasi Alec Radford dari OpenAI untuk melakukan riset Unsupervised sentiment neuron: https://openai.com/research/unsupervised-sentiment-neuron
OpenAI memutuskan untuk melihat apa yang terjadi jika model itu diperbesar dengan memanfaatkan arsitektur Transformer baru buatan Google, dan membuat sesuatu yang disebut GPT: https://cdn.openai.com/research-covers/language-unsupervised...
Misalnya, CS 231 adalah salah satu kelas AI/ML paling populer di Stanford. Jika memikirkan jumlah mahasiswa yang mengambil kelas itu sekitar 2015–2017 lalu kemudian berkembang di bidang AI, tidak berlebihan mengatakan sebagian besar kredit layak diberikan kepada kelas itu
Pengajar yang bisa membimbing langkah demi langkah sambil menunjukkan betapa sederhananya sesuatu bisa dibuat sangatlah berharga. Mereka berperan penting dalam menurunkan hambatan masuk ke bidang ini
Dalam jangka panjang, talenta baru yang masuk ke AI berkat materi seperti yang dibuat Karpathy akan menghasilkan terobosan besar. “Hacker's Guide to Neural Networks” miliknya, meski sudah hampir 10 tahun, memberi saya momen ‘aha’ paling jelas dalam memahami backpropagation
Menyebut hanya aktivitas non-edukatif sebagai “kontribusi nyata” adalah cara bicara yang sepenuhnya meremehkan peran pendidik hebat dalam derap kemajuan. Tanpa pendidikan seperti itu, kita akan berada di mana sekarang?
Ia berkontribusi dalam mendorong AI maju. Tidak perlu menambahkan embel-embel “nyata”. Kehilangan pendidik hebat harus dianggap sama disayangkannya dengan kehilangan engineer hebat
Ia juga menganalisis recurrent neural network dengan sangat baik, dan termasuk salah satu penjelasan awal sekaligus terbaik tentang apa yang terjadi di dalam model bahasa
Ia mengatakan “rencana saat ini adalah mengerjakan proyek pribadi dan melihat bagaimana hasilnya. Orang-orang yang sudah lama mengikuti mungkin punya gambaran seperti apa itu”—ada yang tahu maksudnya?
Bisa dilihat di GitHub: https://github.com/karpathy
Saya berharap ia menulis lebih banyak fiksi di waktu luangnya. Saya sangat menyukai https://karpathy.github.io/2015/11/14/ai/
Apakah ia akan fokus penuh ke kanal YouTube? Saya menantikannya. Kontennya benar-benar bagus
Sepertinya ia bergabung kembali dengan OpenAI hampir tepat 1 tahun lalu: https://twitter.com/karpathy/status/1623476659369443328
Artikel terkait: “Andrej Karpathy Departs OpenAI”[0] (159 poin, 2 jam lalu, 71 komentar)
[0]: https://news.ycombinator.com/item?id=39365288
Melihat tweet tersematnya, “bahasa pemrograman baru yang paling panas adalah bahasa Inggris”, pesan di akhir tulisannya “orang-orang yang mengenalku tahu apa yang akan kulakukan ;)” sepertinya mengisyaratkan semacam developer tool
Untuk seorang visioner teknologi, itu terdengar masuk akal, dan para hacker tampaknya pada akhirnya tidak bisa menahan diri untuk membuat alat yang membuat diri mereka sendiri lebih baik
Ada informasi yang lebih baik daripada tebakan iseng saya?