Noam Shazeer Bergabung dengan OpenAI

 (twitter.com/NoamShazeer)
1 poin oleh GN⁺ 7 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Noam Shazeer, tokoh kunci yang menciptakan arsitektur Transformer dan pernah menjadi co-lead Gemini di Google, mengumumkan bergabung dengan OpenAI
  • Ia merupakan karyawan awal yang bergabung dengan Google pada tahun 2000, dan berkontribusi pada peningkatan koreksi ejaan penelusuran serta pembuatan algoritme inti AdSense
  • Sebagai co-author makalah "Attention Is All You Need" pada 2017, ia menciptakan arsitektur Transformer yang menjadi dasar hampir semua LLM modern
  • Ia juga merupakan kontributor utama untuk LaMDA dan Meena
    • Meena — chatbot percakapan domain terbuka yang diperkenalkan Google pada 2020, sebuah proyek riset yang menargetkan percakapan yang lebih alami dan sesuai konteks melalui model berukuran 2,6 miliar parameter
    • LaMDA (Language Model for Dialogue Applications) — model bahasa besar yang dikhususkan untuk dialog dan diumumkan pada 2021 sebagai penerus Meena, dengan tujuan menghasilkan percakapan multi-turn yang alami pada topik bebas, dan kemudian menjadi teknologi dasar awal untuk chatbot Google dan Bard
  • Ia meninggalkan Google pada 2021 untuk mendirikan Character.AI bersama, tetapi pada 2024 kembali setelah diakuisisi Google dengan nilai sekitar 4 triliun won ($2.7B), lalu berperan sebagai VP Eng dan co-lead Gemini

Bacaan terkait

1 komentar

 
GN⁺ 7 jam lalu
Opini Hacker News

  • Untuk yang tertarik, Wired membahas cerita di balik makalah Attention Is All You Need dua tahun lalu: https://www.wired.com/story/eight-google-employees-invented-...
    Ini memberi konteks untuk memahami kontribusi tiap penulis. Soal Shazeer, artikelnya mengatakan bahwa bergabungnya dia sangat menentukan, dan mekanisme yang secara teoritis maupun intuitif tampak menjanjikan seperti self-attention sering kali baru menunjukkan daya hidupnya jika diimplementasikan dengan sangat hati-hati oleh segelintir “penyihir” yang berpengalaman. Dengan caranya sendiri, Shazeer menulis ulang versi kode tim Transformer, mengatakan bahwa dia “mengambil ide dasarnya dan membangunnya sendiri”, sesekali bertanya pada Kaiser, tetapi sebagian besar hanya mengerjakannya sebentar lalu kembali dan berkata, “Lihat, ini berhasil.” Isinya menggambarkan bahwa dia mendorong sistem itu naik satu tingkat dengan cara yang kemudian dideskripsikan rekan tim sebagai “sihir”, “alkimia”, dan “gadget tambahan”

    • Ungkapan seperti “sihir”, “alkimia”, dan “gadget tambahan” terdengar seperti bahasa dari orang-orang yang cukup terlatih untuk membungkus berlebihan sesuatu bagi publik nonteknis tanpa isi yang nyata

  • Noam Shazeer adalah salah satu penulis utama makalah monumental “Attention Is All You Need” yang memperkenalkan arsitektur Transformer

    • Itu meremehkan pentingnya dia. Urutan penulisnya acak, tetapi saya rasa ide intinya benar-benar miliknya. Saya juga penasaran apa yang ini katakan tentang GDM

  • Konteks bagi yang belum mengikuti seluruh alurnya: Shazeer adalah peneliti Google lama yang bergabung pada tahun 2000 dan merupakan salah satu penulis “Attention Is All You Need”
    Dia meninggalkan Google pada 2021 untuk ikut mendirikan Character.AI, lalu pada 2024 Google membawanya kembali bersama sebagian peneliti Character.AI melalui perjanjian lisensi dan talenta dengan Character.AI. Nilai yang diberitakan sekitar $2,7 miliar, dan setelah itu dia menjadi co-lead Gemini. Sekarang dia kembali meninggalkan Google untuk pergi ke OpenAI, jadi ini masa yang menarik

    • Alasan dia pertama kali meninggalkan Google adalah karena Google tidak mau merilis produk bergaya chatbot yang menurutnya memungkinkan. Google mengeluarkan banyak uang untuk membawanya kembali dan menjadikannya salah satu lead Gemini
    • Saya pertama kali melihat Noam di podcast Dwarkesh bersama Jeff Dean, dan saya merekomendasikannya jika ingin merasakan bagaimana orang Google memandang hal-hal ini
      https://youtu.be/v0gjI__RyCY?is=nz77XP4KiJy7L1AX
    • Pada tahap seperti ini, saya penasaran apakah kompensasi benar-benar faktor yang menggoda, atau apakah yang lebih penting adalah apa yang bisa dia kerjakan. Rasanya Google juga bisa dengan mudah memberi sebanyak yang bisa ditawarkan OpenAI, tetapi mungkin sebagai perusahaan lama lebih sulit memenuhi syarat yang benar-benar tidak biasa
    • Saya penasaran bagaimana orang yang diakuisisi bisa pergi bahkan belum sampai 2 tahun
    • Saya harap pada akhirnya kita sampai pada kesimpulan “Hopfield Networks is All You Need”

  • Wow, dia baru saja kembali belum lama ini, jadi apa sebenarnya yang membuatnya memutuskan keluar?
    Saya berharap ini tidak akurat, tetapi saya khawatir mungkin benar: https://x.com/signulll/status/2067446889956430273

    • Bagi yang tidak ingin mengeklik tautan di atas, ini tautan nitter-nya: https://nitter.net/signulll/status/2067446889956430273
    • signull lebih mirip akun anonim yang ceplas-ceplos daripada insider industri yang dikenal, tetapi setidaknya dari sudut pandang orang luar yang mengikuti suasananya, dia tampaknya cukup tepat menangkap cara Sam Altman berkontribusi pada OpenAI
    • Kalau harus menebak, uang kemungkinan ikut berperan
    • Ini terbaca seperti satu episode Silicon Valley. Sayang sekali, kalau drama itu di-reboot sekarang, akan ada banyak sekali bahan yang lucu
    • Saya akan bilang ini karena “uang” dan banyak omong kosong dari pihak Altman

  • [Suntingan: komentar saya awalnya adalah balasan untuk komentar yang menyebut Noam sebagai “Scam Altman” yang lain, tetapi parent-nya berubah. Tidak masalah kalau subthread aslinya sudah dirapikan, tetapi konteks ini rasanya perlu agar bisa dipahami.]
    Noam benar-benar sangat kompeten, dan di dalam engineering Google era 2000-an dia cukup legendaris. Ada cerita bahwa Paul Buchheit mewawancarainya dengan pertanyaan “bagaimana Anda akan membuat pemeriksa ejaan”, dan dia memikirkan sesuatu yang lebih baik daripada state of the art saat itu, lalu setelahnya pada dasarnya membuat pemeriksa ejaan Google sebagai proyek Noogler dua minggu pertamanya
    https://www.youtube.com/watch?v=gilk-76W9rE&t=60

    • Jika dia orang yang sepintar itu, tentu dia tahu persis apa yang sedang dia lakukan, jadi saya tidak mengerti bagaimana orang bisa mengklaim semua ini cuma kecelakaan
      “Google and Character.AI agree to settle lawsuits over teen suicides” - https://www.axios.com/2026/01/07/google-character-ai-lawsuit...
      Harap berhati-hati. Ini sangat mengguncang: https://www.judiciary.senate.gov/imo/media/doc/e2e8fc50-a9ac...
    • Wow, berarti dia sudah memecahkan masalah dengan AI sejak tahun 2000. Pemeriksa ejaan itu dilatih dari web dan menjadi alat AI pertama yang digunakan secara luas, jadi dia sudah jauh di depan zamannya selama puluhan tahun

  • https://old.reddit.com/r/singularity/comments/1u8xc9m/most_l...
    Sepertinya ada sedikit wawasan di sini. Edit: postingannya tampaknya sudah dihapus, tetapi komentarnya masih bisa dilihat. Ringkasnya, bahkan jika dikatakan sebaik mungkin, orang itu sangat terang-terangan secara politik dan punya keyakinan yang kuat.

  • Ini kabar yang sangat buruk bagi Gemini. Lonjakan singkat tahun lalu dengan 2.5 Pro tampaknya dipimpin oleh Noam

    • Jujur saja, menurut saya dalam jangka panjang dampaknya tidak akan besar. Model tidak punya parit pertahanan dan makin menjadi komoditas umum
      Terlepas dari itu, Google berada di posisi yang cukup bagus. Mereka juga tidak membakar uang untuk AI seperti Anthropic/OpenAI, dan punya area produk tempat AI bisa diintegrasikan. Selain itu, mereka juga punya model iklan yang matang, jadi justru bagian itulah yang mungkin benar-benar bisa menghasilkan sedikit pendapatan nyata dari model bahasa besar

  • Pertanyaan pertama: berapa banyak uang yang dihabiskan OpenAI untuk ini?
    Pertanyaan kedua: mengapa OpenAI menghabiskan uang itu untuk mencoba membajak talenta Google, yang jelas bisa membayar lebih besar dalam perekrutan, alih-alih Anthropic yang memimpin pasar dan punya keterbatasan finansial sampai tingkat tertentu?

    • Dari laporan terkait, orang-orang di Anthropic tampaknya jauh lebih loyal, dan upaya pembajakan talenta oleh OpenAI dan Meta juga kebanyakan tidak berhasil

  • Wow, Google menawarkan miliaran dolar untuk membawa Noam kembali. Jika laporannya benar, OAI benar-benar melakukan sesuatu yang mengesankan

  • Perekrutan AI mulai terlihat seperti pasar free agency dalam olahraga
    Karpathy ke Anthropic, dan sekarang Noam ke OpenAI

    • Saya kira Karpathy akan ke OpenAI