Para Karyawan Google yang Menciptakan Transformer

Delapan karyawan Google menciptakan AI modern: kisah dari dalam

• Makalah ilmiah berjudul "Attention Is All You Need" yang ditulis pada musim semi 2017 memiliki 8 penulis.
• Mereka semua adalah peneliti Google, dan kontributor paling senior, Noam Shazeer, terkejut saat melihat namanya tercantum di urutan pertama.
• Para penulis memutuskan untuk 'merusak' kebiasaan memberi peringkat kontribusi, menambahkan tanda bintang di samping semua nama, serta catatan kaki "urutan pencantuman bersifat acak".

Awal dari sebuah transformasi

• Makalah ini memajukan teknik jaringan saraf di bidang AI, lalu mengubahnya menjadi sistem digital yang sangat kuat hingga terasa seperti hasil kecerdasan alien.
• Arsitektur ini digunakan sebagai bahan rahasia bagi produk AI seperti ChatGPT, Dall-E, dan Midjourney.
• Tujuh tahun setelah dipublikasikan, makalah ini telah memperoleh status legendaris.

Arsitektur transformasi: transformer

• Kisah transformer dimulai dari penulis keempat bernama Jakob Uszkoreit.
• Berdasarkan idenya tentang self-attention, Uszkoreit merancang pendekatan baru.
• Jaringan ini dapat menerjemahkan kata dengan merujuk pada bagian tertentu dalam sebuah kalimat, yang membantu sistem menghasilkan terjemahan yang baik.

Kolaborasi dan inovasi

• Uszkoreit berpikir bahwa model self-attention bisa lebih cepat dan lebih efektif daripada jaringan saraf rekursif.
• Ide ini berkembang melalui kolaborasi dengan peneliti lain seperti Illia Polosukhin dan Ashish Vaswani.
• Mereka menulis dokumen desain berjudul "Transformers: Iterative Self-Attention and Processing for Various Tasks".

Publikasi makalah dan dampaknya

• Tim peneliti menggunakan model transformer untuk melakukan penerjemahan bahasa, lalu mengukur kinerjanya dengan benchmark BLEU.
• Model baru mereka melampaui para pesaing, dan model yang lebih besar, Big, memperoleh skor BLEU yang memecahkan rekor sebelumnya.
• Makalah itu dikirim tepat sebelum tenggat, dan Google dengan cepat mengajukan paten sementara untuk pekerjaan tersebut.

Respons Google dan perubahan

• Di dalam Google, pekerjaan ini dipandang hanya sebagai satu lagi proyek AI yang menarik, dan Google mulai mengintegrasikan transformer ke dalam produk-produknya sejak 2018.
• Namun, perubahan ini terlihat hati-hati jika dibandingkan dengan lompatan radikal OpenAI dan integrasi berani sistem berbasis transformer oleh Microsoft ke lini produknya.

Para penulis yang meninggalkan Google

• Semua penulis telah meninggalkan Google dan kini bekerja dengan berbagai cara berdasarkan sistem yang mereka ciptakan.
• Banyak dari mereka meninggalkan Google dan pindah ke startup AI baru.

Opini GN⁺

• Artikel ini memberikan wawasan menarik tentang perkembangan teknologi AI dengan menjelaskan secara rinci proses kelahiran dan perkembangan model transformer, yang memainkan peran penting di bidang AI.
• Model transformer kini merupakan teknologi inti dalam pemrosesan bahasa berbasis kecerdasan buatan, dan merupakan penemuan penting yang menjadi fondasi AI percakapan seperti ChatGPT.
• Artikel ini menunjukkan bagaimana lingkungan riset inovatif di dalam Google memungkinkan terobosan teknologi yang besar.
• Namun, fakta bahwa Google mengambil pendekatan yang agak konservatif dalam memanfaatkan teknologi ini secara komersial memberikan pelajaran penting tentang kecepatan inovasi dan strategi perusahaan.
• Perusahaan atau pengembang yang mengadopsi teknologi ini perlu mempertimbangkan kompleksitas model transformer dan kebutuhan sumber dayanya, sementara manfaat yang bisa diperoleh sangat besar.

[GN⁺]

Opini Hacker News

• Diskusi tentang model perhatian:

  • Mekanisme perhatian (Attention) memang bukan hal baru, tetapi ada penelitian yang menunjukkan bahwa mekanisme ini cukup untuk memprediksi urutan kata berikutnya dalam konteks tertentu.
  • Saat kerangka kerja ini digunakan pada 2018, ia menunjukkan perilaku yang tak terduga, tetapi itu merupakan pengalaman yang menarik.
  • Kelompok lain menemukan bahwa menghitung algoritme sederhana dalam skala besar menghasilkan hasil yang lebih baik.
  • Menyebalkan jika mengklaim bahwa hanya satu kelompok yang menemukan dan mengubah AI.
  • Para peneliti layak mendapat pujian, tetapi mereka tidak menciptakan AI modern; mereka mengembangkannya dengan cara yang menarik.
  • Saat ini ada keinginan untuk kembali ke pendekatan yang lebih deterministik: model dunia, memori, graf, minimisasi energi, dan sebagainya.
  • Model generatif memang menarik dan memberi pelajaran, tetapi belum jelas apakah AGI/SGI bisa diselesaikan hanya dengan menambahkan lebih banyak chip.

• Kilas balik ke masa keemasan Google:

  • Saat membahas peran Uszkoreit dan tim NLP pada masa keemasan Google tahun 2014, ada pertanyaan tentang apa yang akan dilakukan jika memiliki anggaran tak terbatas, dan ia menjawab, "Saya punya anggaran seperti itu."

• Percakapan tentang sejarah AI:

  • Percakapan dengan Geoffrey Hinton dan Fei-Fei Li membahas sejarah AI, arah riset Hinton, serta upaya Li terkait ImageNet.

• Perbandingan Google dan OpenAI:

  • Mengejutkan bahwa Google bukanlah OpenAI, padahal sejak awal Google memiliki DeepMind dan banyak pemegang gelar doktor.

• Penyebutan kolaborasi para karyawan Google:

  • Ditekankan bahwa semua penulis adalah karyawan Google dan bekerja di kantor yang sama, yang mengisyaratkan bahwa kolaborasi tatap muka adalah teknologi terbaik untuk inovasi.

• Kritik terhadap strategi AI Google:

  • Tak satu pun dari para penulis kini masih bekerja di Google, dan ada keheranan tentang seberapa buruk CEO Google menangani AI.

• Dokumen sejarah AI internal Google:

  • Karyawan Google dapat melihat momen-momen penting dalam sejarah AI yang tersimpan di intranet Google, misalnya implementasi transformer pertama dan komentar para reviewer.

• Perhatian pada keberagaman para penulis:

  • Dari 8 penulis, 6 lahir di luar Amerika Serikat, sementara dua lainnya masing-masing adalah anak dari pemegang green card Jerman yang sementara tinggal di California dan warga Amerika generasi pertama dari keluarga yang datang untuk menghindari penganiayaan.

• Dukungan untuk divisi R&D:

  • Mendukung divisi R&D bebas pajak, dengan harapan bahwa ide yang mungkin hanya muncul sekali dalam satu dekade dapat mendorong seluruh perekonomian.
  • Keajaiban komputasi modern merupakan hasil dari perluasan R&D yang dilakukan tanpa harus langsung berdampak pada laba perusahaan.