OpenAI bekerja sama dengan Broadcom & TSMC untuk mengembangkan chip pertamanya dan mengurangi rencana foundry

• OpenAI mengembangkan chip inferensi AI dan membatalkan rencana jaringan foundry
• Broadcom membantu desain chip OpenAI dan mendukung produksinya di TSMC
• OpenAI menambahkan chip AI AMD untuk mendiversifikasi pasokan chip

Upaya desain chip internal OpenAI dan pemanfaatan kemitraan industri

• OpenAI meninjau berbagai opsi untuk mendiversifikasi pasokan chip dan menekan biaya
• Untuk sementara, perusahaan akan menghentikan rencana foundry yang ambisius dan berfokus pada upaya desain chip internal
• Strategi OpenAI menunjukkan bagaimana perusahaan ini, seperti para pesaing besar seperti Amazon, Meta, Google, dan Microsoft, memanfaatkan kemitraan industri serta pendekatan internal dan eksternal untuk mengamankan pasokan chip dan mengelola biaya
• OpenAI adalah salah satu pembeli chip terbesar, dan keputusannya untuk melakukan sourcing dari berbagai pembuat chip sambil mengembangkan chip kustom dapat membawa dampak luas bagi sektor teknologi
• Broadcom membantu perusahaan seperti Google menyempurnakan desain chip untuk produksi dan memasok komponen desain yang membantu memindahkan informasi dengan cepat di dalam chip
• OpenAI telah mengamankan kapasitas manufaktur dengan TSMC melalui Broadcom untuk memproduksi chip rancangan kustom pertamanya pada 2026
• Saat ini, GPU Nvidia menguasai lebih dari 80% pangsa pasar
• Namun, kekurangan pasokan dan kenaikan biaya mendorong pelanggan besar seperti Microsoft, Meta, dan kini OpenAI untuk mencari alternatif internal maupun eksternal
• Keputusan OpenAI untuk menggunakan chip AMD melalui Azure milik Microsoft menunjukkan bahwa chip baru AMD, MI300X, sedang mencoba merebut sebagian pasar yang didominasi Nvidia
• Pelatihan model AI dan pengoperasian layanan seperti ChatGPT membutuhkan biaya besar
• OpenAI memperkirakan kerugian sebesar $5 miliar tahun ini dengan pendapatan $3,7 miliar
• Biaya komputasi adalah pengeluaran terbesar perusahaan, yang memicu upaya untuk mengoptimalkan utilisasi dan mendiversifikasi pemasok

Opini GN⁺

• Upaya desain chip internal OpenAI dan kerja samanya dengan berbagai pembuat chip menandai perubahan penting dalam industri AI. Ini dapat menciptakan alternatif baru yang menantang dominasi Nvidia dan mempercepat kemajuan teknologi AI
• Namun, kekhawatiran dapat muncul terkait struktur biaya OpenAI. Dalam situasi ketika pengembangan model AI dan pengoperasian layanan memerlukan biaya sangat besar, ada pertanyaan tentang profitabilitas dan keberlanjutan jangka panjang
• Di sisi lain, kemunculan chip AI baru seperti MI300X dari AMD akan mendorong persaingan pasar dan memberi pelanggan lebih banyak pilihan. Ini dapat berkontribusi pada demokratisasi dan komersialisasi teknologi AI
• Dengan persaingan yang makin ketat di pasar chip AI, inovasi teknologi diperkirakan akan semakin cepat, dan permintaan terhadap chip berperforma tinggi serta hemat daya akan meningkat. Seiring itu, persaingan investasi dan perebutan talenta di bidang desain dan manufaktur chip juga diperkirakan akan makin sengit
• Saat perusahaan mengadopsi chip AI, mereka perlu mempertimbangkan secara menyeluruh berbagai faktor seperti performa, biaya, kompatibilitas, dan skalabilitas. Penting untuk memilih chip yang paling sesuai dengan roadmap teknologi jangka panjang dan strategi bisnis

[GN⁺]

Pendapat Hacker News

• Dari sudut pandang mantan karyawan Google, ini sama sekali tidak mengejutkan. Saya masih terus berhubungan dengan teman-teman yang masih di Google, dan dalam beberapa bulan terakhir jumlah insinyur hardware eks Google yang direkrut OpenAI meningkat tajam
  Melihat profil insinyur hardware OpenAI di LinkedIn saja sudah mudah terlihat betapa banyaknya yang berasal dari Google. Tim TPU Google kini tinggal bayangan dari masa lalunya, jadi tidak akan mengejutkan jika TPU Google ke depan menjadi lebih buruk daripada chip baru OpenAI
  Pekerjaan TPU Google dulu juga bergantung pada bantuan Broadcom: https://www.theregister.com/AMP/2023/09/22/google_broadcom_t...
  Karena Broadcom dulu membantu TPU Google dengan baik, sangat wajar jika orang-orang eks Google membawa hubungan pemasok itu ke perusahaan baru

  • BRCM makin terlihat seperti perusahaan jasa yang merancang ASIC untuk perusahaan yang menginginkan ASIC kustom. Perusahaan seperti ini banyak, dan saya tidak tahu mengapa ini menjadi berita
    BRCM, bersama Marvell dan lainnya, adalah pemimpin SerDes, dan IP dari Synopsys serta Cadence juga banyak dipakai perusahaan chip seperti ini. Tidak ada perusahaan yang akan memvertikalkan seluruh IP sepenuhnya, jadi ini tampaknya bukan sesuatu yang perlu dibesar-besarkan
  • Perlu juga dilihat bahwa Google pun menghabiskan banyak waktu, uang, dan modal manusia untuk TPU sebelum perlahan membuahkan hasil. Bahkan perusahaan yang sudah teruji dalam penskalaan besar pernah mencoba dan gagal, misalnya Tesla
    Ini bukan hal semudah mengurung para doktor dalam satu ruangan lalu menyuruh mereka menghasilkan LLM. Pengembangan hardware itu rumit, lambat, butuh waktu lama untuk verifikasi, dan biayanya luar biasa mahal

• Jensen selama ini mengatakan permintaan “gila-gilaan”, dan ada juga rumor bahwa yield rendah. Ini bisa menyebabkan masalah pasokan selama beberapa bulan atau tahun ke depan
  Tidak ada perusahaan Fortune 500 yang akan mempertaruhkan seluruh hardware dan software AI-nya pada satu sumber saja. Beralih dari satu sumber tunggal ke diversifikasi adalah pilihan cerdas

  • Para eksekutif di perusahaan kami juga, saat ditanya mengapa tidak memakai Nvidia, menjawab persis bahwa alasannya adalah diversifikasi sumber pasokan. Lucunya, kami sama sekali tidak memakai Nvidia untuk training
    Kami memakai Trainium karena tidak bisa mendapatkan Nvidia
  • Saya penasaran bagaimana pernyataan “bijak untuk tidak menaruh seluruh hardware dan software AI pada satu sumber tunggal” selaras dengan kontrak eksklusif dengan Microsoft
    Bahkan kontrak OpenAI/Oracle pun mengharuskan Oracle menjalankan stack Azure di pusat datanya sendiri, sehingga MSFT dapat menjadi perantara hubungan tersebut. Chip AMD yang disebut dalam artikel juga dibeli oleh MSFT
    Saya penasaran apakah ini berarti OpenAI menanggung risiko dan belanja modal sambil menyediakan beragam hardware untuk Microsoft, atau ada syarat lain

• Ungkapan bahwa OpenAI mempertimbangkan untuk membuat semuanya sendiri dan menghimpun modal untuk membangun jaringan foundry bagi pembuatan chip sangat meremehkan betapa tidak masuk akalnya ambisi Sam
  Ia melemparkan ide untuk menghimpun 7 triliun dolar dengan cara apa pun demi membangun 36 fab khusus silikon AI, dan kabarnya para eksekutif TSMC hampir tertawa di depan wajahnya setelah mendengar itu

  • Sam sudah menjelaskan langsung klaim ini. Maksudnya, untuk memenuhi permintaan, pada akhirnya kita semua secara kolektif harus membelanjakan 7 triliun dolar untuk komputasi, bukan bahwa OpenAI sendirian akan menghimpun 7 triliun dolar dan membangun seluruh kapasitas produksi
  • Mengejutkan bahwa Satya Nadella melihat orang ini beserta rencananya lalu menilai, “Inilah genius stabil yang tepat untuk memimpin OpenAI”
  • Dengan sedikit saja akal sehat, orang memang seharusnya tertawa. 7 triliun dolar bukan uang yang bisa dihimpun begitu saja
    Seluruh investasi domestik neto AS saja kurang dari 1 triliun dolar: https://fred.stlouisfed.org/series/W790RC1Q027SBEA
    Pembentukan modal tetap bruto, yaitu jumlah investasi neto dan depresiasi, juga tidak jauh lebih besar: https://fred.stlouisfed.org/series/NFIRSAXDCUSQ
    Bahkan jika Google, Apple, dan Microsoft digabungkan, belanja modal tahunan mereka tidak sampai 100 miliar dolar. Padahal gabungan kapitalisasi pasar ketiga perusahaan itu hampir 10 triliun dolar
    Perusahaan senilai 100 miliar dolar meminta 7 triliun dolar adalah hal yang luar biasa absurd dan sulit dipercaya
  • Meski begitu, dalam satu sisi memang mengagumkan. Kalau di awal meminta 7 triliun dolar, nanti meminta hanya 1 triliun dolar akan terlihat cukup masuk akal ;-)
  • Mungkin saya terlalu sinis, tetapi membicarakan satu fab saja sudah cukup membuat orang tertawa. Desain masih bisa dimaklumi, tapi manufaktur?

• Melihat analisis finansial yang meyakinkan dari “The Subprime AI Crisis”, tidak ada yang bisa saya tambahkan selain dialog dari film “Dodgeball”
  “Strategi yang berani, Cotton. Mari kita lihat apakah berhasil.”
  0 - https://www.wheresyoured.at/subprimeai/
  1 - https://www.imdb.com/title/tt0364725/quotes/

  • Menanggapi tulisan wheresyouredat, tampaknya OpenAI melemahkan model umum gratis sehingga terus memberikan jawaban yang tidak sempurna pada benchmark saya. Sementara itu, model o1 terus menjawab benchmark yang sama dengan benar
    Dulu model gratis pun, tergantung harinya, kadang memberi jawaban yang lebih akurat pada benchmark saya. Jadi rasanya mereka memperlebar jarak di antara keduanya agar o1 tampak lebih berguna
    Saya tidak keberatan OpenAI melakukan apa pun terhadap produknya sendiri, tetapi bagi saya ini terlihat seperti mereka men-nerf produk gratis agar o1 terlihat relatif lebih bagus

• Berapa lama waktu yang dibutuhkan untuk membawa chip baru ke produksi dan memakainya untuk training atau inferensi?

  • Untuk tim yang kompeten, kira-kira sekitar 2 tahun. Setelah itu masih perlu software agar bisa bekerja dengan benar. Ini bukan sesuatu yang bisa dilakukan cepat
    Menyuntikkan lebih banyak uang bisa saja mempercepat, tetapi bisa juga malah merusaknya dan membuatnya lebih lama
  • Dalam hal ini, saya tidak menganggap waktu begitu penting. Lihat saja bagaimana Apple silicon mengubah performa dan menghilangkan ketergantungan pada Intel
    Kalau berhasil tepat, mereka bisa makin memperlebar jarak dengan penyedia LLM lain
  • Chip generasi pertama kemungkinan besar belum cukup untuk dipakai dalam operasi nyata, dan kalau begitu harus lanjut ke generasi kedua. Bisa memakan waktu kira-kira 3–4 tahun

• Mungkin mereka membangun data center sendiri untuk memakai chip ini, tetapi anehnya artikel itu tidak benar-benar menyebutkannya
  Apakah ada chip AI/perkalian matriks dari dunia Barat yang tidak diproduksi oleh TSMC? Bagaimana dengan Amazon atau Meta? NVIDIA, AMD, Google TPU juga memakai TSMC dengan kerja sama desain Broadcom, dan kini OpenAI juga begitu
  Saya penasaran apakah Samsung memang tidak kompetitif. Saya juga penasaran apakah batasan volume chip atau chipset secara keseluruhan disebabkan oleh kapasitas produksi TSMC, atau oleh memori atau packaging

  • Samsung tidak kompetitif, jadi semua chip bagus saat ini harus dibuat di TSMC. Bottleneck chip AI selama ini diberitakan ada pada packaging dan HBM, tetapi utilisasi TSMC juga sedang tinggi
  • Samsung tertinggal kira-kira 2–3 tahun, dan tidak separah yang dikatakan orang-orang di HN. Namun jika Anda bisa menjual chip dengan margin laba 80%, tentu Anda ingin memakai yang terbaik

• OpenAI tampaknya menyadari bahwa selain pengenalan merek, mereka praktis tidak punya moat, lalu mencoba membangun moat lewat fab dan desain chip
  Jika fab dan chip eksklusif itu secara ajaib unggul, dan bisa dibuat murah tanpa membayar pajak tim hijau, mereka akan mendapat keunggulan besar dalam biaya inferensi
  Mungkin mereka menilai bahwa memulai dari chip eksklusif saja sudah cukup

• Saya terus merasa bahwa dalam AI, transistor terbuang percuma. Kita memakai keadaan biner untuk menghilangkan entropi dari sistem, tetapi dalam AI jauh lebih banyak entropi yang bisa ditoleransi
  Untuk penggunaan ini, seharusnya ada pendekatan yang jauh lebih baik daripada gerbang NAND

  • Alasan lain memakai pendekatan biner adalah karena memungkinkan otomasi sintesis, bukan rangkaian yang digambar tangan. Pada skala besar, ini benar-benar penting
    Ini menurunkan biaya non-recurring engineering dan mempercepat pengembangan. Jika kita membuangnya, kita mungkin juga membuang ekosistem tool yang memungkinkan efisiensi saat ini

• Hal seperti GH Copilot memang hebat, tetapi selain itu saya belum melihat dampak sosial dan budaya LLM. Maksud saya di luar unggahan media sosial yang heboh dari para influencer yang menampilkan contoh keren atau peluncuran model
  Saya tidak melihat fenomena teknologi ini meresap ke seluruh masyarakat, jadi saya bertanya-tanya apakah saya saja yang kebal, atau apakah ia tersembunyi jauh di dalam produk SaaS/perusahaan
  Seharusnya ada dampak budaya yang produktif yang meluas, lengket, dan punya retensi tinggi, bukan sekadar “oh keren” lalu berakhir seperti 3D TV atau VR
  Apalagi mengingat begitu banyak uang terbakar menjadi heatsink GPU

  • Generasi yang sekarang berada di sekolah dan universitas menjadikan LLM bagian dari rutinitas harian mereka
    Di luar bidang pendidikan, industri SEO juga tumbuh di sekitar LLM, dan mereka sangat menyukai kemampuan baru untuk memproduksi spam skala besar
    Di ranah perusahaan dan pemerintah, LLM mulai diadopsi dengan hati-hati untuk meningkatkan produktivitas dalam pekerjaan komunikasi yang masih bisa menoleransi sedikit halusinasi atau gaya bahasa korporat yang seperti robot. Kalimat akhir tetap dibuat oleh manusia
    Di customer support dan sales, orang membayar untuk versi “AI” dari pohon menu telepon lama, yang pada akhirnya membuat kita berteriak “saya ingin bicara dengan agen” sebelum akhirnya tersambung ke manusia
    Di tempat lain adopsinya lambat. Kita mengharapkan hasil yang deterministik, tetapi itu sulit diharapkan dari model seperti ini. Saat membuat software yang berinteraksi dengan API LLM, output bisa secara acak keluar dari struktur yang diminta, sehingga kita harus menerapkan kembali teknik defensive coding yang sudah lebih dari 10 tahun tidak dipakai. Karena itu, penggunaan structured output atau function calling pun menjadi rumit
  • Verifikasinya cukup mudah. Tanyakan kepada teman-teman, kalau bisa teman yang bukan developer, apakah mereka memakainya
    Setelah melihat teman di bidang akuntansi dan teman di bidang marketing memakainya untuk analisis dasar atau menulis materi promosi, saya sadar bahwa non-developer pun sudah memakainya secara rutin
    Penggunaan oleh peran non-teknis penting di bidang ini. Sebagai contoh tandingan hype, dalam crypto, orang-orang non-teknis yang saya kenal hanya “memegang” aset lewat exchange dan tidak mewujudkan use case yang diklaim
  • Orang-orang di sekitar saya dan saya sendiri memakainya untuk menggantikan sebagian pencarian web
    Khususnya o1-preview cukup bagus untuk menulis artikel mini-review dengan garis besar luas tentang pertanyaan yang saya minati
    Ini bekerja baik ketika sudah ada banyak teks yang membahas topik tersebut, dan teks itu perlu dirangkai ulang sesuai pertanyaan saya
    Format chat jauh lebih efisien daripada pencarian web atau membaca beberapa artikel Wikipedia terkait. Ini benar-benar soal apakah gelasnya setengah penuh atau setengah kosong. Saya sangat terkesan dan berharap banyak pada kegunaannya, tetapi di saat yang sama jelas ini bukan AGI
  • Anehnya, media tampaknya tidak menangkap penggunaan ini dengan baik. Kebanyakan jurnalis dan YouTuber hanya menunjukkan use case remeh
    Saya melihat orang-orang yang tidak terduga memakai LLM untuk berbagai macam tujuan. Dalam banyak kasus, mereka bahkan tidak ingin memberi tahu atasan bahwa mereka memakai tool tersebut, karena itu memberi mereka kekuatan super
    Maksud saya orang-orang seperti pegawai bank, manajer toko, politisi lokal, dan pemilik usaha kecil. Dulu saya sendiri sulit mempercayainya, tetapi makin lama saya melihat makin banyak orang tak terduga memakai LLM dan menyusun prompt dengan benar
  • Sepertinya Anda hanya memikirkan konsumen langsung, tetapi perlu dilihat bahwa Microsoft telah mengintegrasikan Copilot ke Windows dan terus meningkatkannya
    Begitu semua pengguna Outlook punya tombol untuk ringkasan, ekstraksi, dan penyempurnaan email, ratusan juta orang akan memakai LLM setiap hari

• Gagasan menghabiskan 7 triliun dolar untuk fab sendiri itu ambisius sekaligus gila. Sepertinya realitas akhirnya ikut campur. Kalau sudah terbangun dari mimpi besar itu, semoga kualitasnya tetap dipertahankan

  • Sepertinya ini lebih dekat pada proses menetapkan titik acuan harga yang sudah selesai, dan sekarang mereka siap melakukan transaksi nyata