Boom investasi AI

 (apricitas.io)
1 poin oleh GN⁺ 2024-10-21 | 1 komentar | Bagikan ke WhatsApp
  • Permintaan AI mendorong investasi infrastruktur komputer, pusat data, dan listrik di AS, dan keputusan Microsoft menanggung biaya menghidupkan kembali reaktor 1 di PLTN Three Mile Island menunjukkan bagaimana krisis listrik pusat data meluas menjadi investasi infrastruktur fisik
  • Belanja konstruksi pusat data di AS mencapai laju tahunan 28,6 miliar dolar AS, level tertinggi sepanjang masa, naik 57% dibanding tahun lalu dan 114% dibanding dua tahun lalu, sehingga skalanya setara dengan total belanja konstruksi restoran, bar, dan toko ritel
  • Belanja konstruksi ini tidak mencakup rak server dan komponennya; impor bersih komputer besar serta komponen dan aksesori komputer melampaui 65 miliar dolar AS dalam setahun terakhir, dan impor chip, komputer, serta komponen terkait dari Taiwan juga melonjak menjadi lebih dari 38 miliar dolar AS
  • Efek rambatan boom AI kali ini lebih besar pada perangkat keras, manufaktur, konstruksi, dan infrastruktur listrik dibanding lapangan kerja perangkat lunak tradisional; dalam setahun terakhir, pertambahan pekerjaan teknologi di AS hanya mencapai 32 ribu
  • Dengan persaingan investasi yang terus berlanjut berdasarkan asumsi model yang lebih besar dan meluasnya aplikasi nyata, isu Chip War makin menonjol di seputar permintaan semikonduktor canggih, ketergantungan pada Taiwan, dan pembatasan akses bagi China

Permintaan AI mengarah ke investasi infrastruktur fisik

  • Microsoft memutuskan menanggung biaya untuk menghidupkan kembali reaktor 1 PLTN Three Mile Island guna memenuhi permintaan listrik pusat data yang terus meningkat, sehingga menjadi perusahaan teknologi besar AS kedua setelah Amazon yang memanfaatkan fasilitas PLTN yang sudah ada untuk merespons kebutuhan energi
  • Microsoft adalah investor utama sekaligus penyedia komputasi bagi OpenAI, dan kurang dari dua tahun setelah peluncuran ChatGPT, pengembangan serta penggunaan AI telah meluas dengan cepat
  • Produk AI digunakan untuk pembuatan kode, teks, dan gambar, analisis data, otomatisasi pekerjaan, serta penguatan platform online, dan penggunaannya diperkirakan akan terus meningkat
  • Model AI terbaru membutuhkan sumber daya komputasi skala besar untuk pelatihan dan inferensi, dan untuk mengoperasikannya diperlukan perangkat keras berperforma tinggi, fasilitas berskala industri, serta infrastruktur listrik, air, dan broadband

Investasi pusat data dan komputer melonjak

  • Konstruksi pusat data di AS mencatat rekor tertinggi dengan laju tahunan 28,6 miliar dolar AS
    • naik 57% dibanding tahun lalu
    • naik 114% dibanding dua tahun lalu
    • skalanya setara dengan total belanja konstruksi restoran, bar, dan toko ritel di AS
  • Angka ini hanya mencakup bangunannya saja, dan tidak termasuk rak komputer berperforma tinggi, kabel, kipas, dan komponen lain yang menjadi otak pusat data
  • Pada Agustus, impor bersih komputer besar di AS mencetak rekor tertinggi sepanjang masa, dan impor bersih komponen, aksesori, serta bagian komputer lainnya mencapai rekor pada bulan sebelumnya
  • Dalam setahun terakhir, AS mengimpor lebih dari 65 miliar dolar AS pada dua kategori tersebut, dan produksi domestik juga meningkat bersamaan

Struktur investasi perusahaan teknologi berubah

  • Sebagian besar pusat data, komputer, dan peralatan baru dibeli oleh perusahaan di sektor teknologi informasi
    • penyedia infrastruktur komputasi seperti Amazon
    • perusahaan pencarian web seperti Google
    • penerbit perangkat lunak seperti Microsoft
  • Dalam setahun terakhir, perusahaan-perusahaan ini menambah kepemilikan bersih atas properti, pabrik, dan peralatan lebih dari 95 miliar dolar AS, level tertinggi sepanjang masa
  • Lebih dari 10 tahun lalu, Facebook mengakuisisi Instagram seharga 1,2 miliar dolar AS, dan dua tahun kemudian WhatsApp seharga 15 miliar dolar AS
    • saat itu karyawan Instagram hanya 13 orang, WhatsApp hanya 55 orang, dan basis fisiknya tak lebih dari kantor serta workstation pengembang
  • Meta hanya pada paruh pertama 2024 telah menggelontorkan belanja modal sebesar 15,2 miliar dolar AS, dan sebagian besar digunakan untuk infrastruktur komputasi skala besar yang mendukung model AI Llama
  • Boom AI saat ini jauh lebih padat perangkat keras dibanding boom teknologi sebelumnya, dan dengan cepat mendorong konstruksi serta investasi di AS

Komputer berperforma tinggi dan impor dari Taiwan menjadi poros utama

  • Investasi perusahaan AS pada komputer dan peralatan terkait di tengah boom AI naik 16,6% dalam setahun terakhir setelah disesuaikan dengan inflasi, mencetak level tertinggi sepanjang masa
  • Pada 2010-an, investasi komputer relatif stagnan selama hampir satu dekade, dan tren ini dipatahkan oleh permintaan kerja jarak jauh pada masa pandemi
  • Pada 2022, investasi komputer menurun ketika tingkat kerja dari rumah dan penggunaan internet mulai stabil, tetapi sejak akhir 2023 kembali melonjak bersama boom AI
  • Laju pertumbuhan sistem komputer canggih bahkan lebih cepat daripada total investasi komputer
    • TSMC adalah produsen semikonduktor canggih terdepan di dunia
    • impor chip, komputer, dan komponen terkait dari Taiwan ke AS melampaui 38 miliar dolar AS dalam setahun terakhir, naik lebih dari 140% dibanding tahun sebelumnya
    • impor langsung chip logika ke AS naik dari level rendah menjadi sekitar 5 miliar dolar AS per tahun
    • komponen dan bagian komputer masih menjadi pos impor terbesar

Perusahaan perangkat lunak juga masuk ke persaingan perangkat keras

  • Data investasi industri yang lebih rinci hingga 2023 menunjukkan bahwa perusahaan pemrosesan data dan pencarian web seperti Amazon dan Google tetap menjadi investor terbesar di sektor teknologi
  • Pertumbuhan investasi tercepat justru muncul pada pengembang perangkat lunak
    • investasi riil kekayaan intelektual penerbit perangkat lunak naik 40% sejak 2021
    • kategori ini mencakup model AI itu sendiri dan litbang terkait
    • investasi riil pada peralatan seperti komputer naik 96%
  • Era ketika pengembang perangkat lunak terdepan memiliki struktur perangkat keras yang ringan kini bergeser menjadi persaingan untuk cepat membangun kapabilitas perangkat keras

Lokasi pusat data sangat berbeda menurut wilayah

  • Pusat data memang perlu tersebar sampai tingkat tertentu karena kebutuhan jaringan dan untuk menghindari kendala infrastruktur, tetapi pemusatan dalam klaster besar dapat meningkatkan efektivitas sekaligus menurunkan biaya dan latensi
  • Dalam AI, efek konsentrasi ini sangat penting, dan perusahaan mendorong batas ukuran pusat data serta jaringan untuk memasukkan sebanyak mungkin daya komputasi ke pengembangan model
  • Statistik konstruksi resmi hanya membagi belanja pusat data sampai tingkat wilayah, sehingga tidak ada data konstruksi yang sangat rinci
  • Perluasan pusat data di AS paling kuat bertahan di wilayah Selatan yang memiliki klaster historis
  • Namun laju pertumbuhan lebih cepat di pasar Midwest dan Pantai Barat, sementara Timur Laut praktis tidak terdampak

Permintaan listrik dan dampaknya pada jaringan listrik regional

  • Energy Information Administration berulang kali merevisi naik proyeksi pertumbuhan beban listrik dengan memasukkan permintaan dari pusat data
  • Proyeksi saat ini menyebut konsumsi listrik sektor komersial akan naik 3% tahun ini dan 1% tahun depan
  • Bahkan dalam proyeksi ini, pengguna komersial masih menjadi faktor kenaikan konsumsi listrik yang lebih kecil dibanding elektrifikasi perumahan dan reshoring industri, tetapi bagi sektor komersial ini adalah pertumbuhan permintaan tercepat dalam beberapa tahun
    • dari 2007 hingga 2023, konsumsi listrik komersial hanya naik total 5%
    • dalam estimasi resmi sebelum boom AI, komputer dan peralatan kantor menyumbang 11,4% dari konsumsi listrik komersial
  • Di beberapa wilayah, konsumsi listrik pusat data menjadi faktor utama pertumbuhan beban listrik
    • North Dakota mencatat kenaikan konsumsi listrik komersial lebih dari 45% sejak pusat data besar dibuka pada 2022
    • karena skala pasar listrik dan komputasi North Dakota kecil, peningkatan absolut permintaan listrik mentah lebih besar di klaster pusat data besar seperti Virginia dan Texas

Permintaan listrik pusat data di Virginia dan Texas

  • byteway di pinggiran Virginia utara, dekat Washington DC, adalah klaster daya komputasi terbesar di dunia
  • Berkat klaster ini, konsumsi energi komersial Virginia naik 30% sejak 2019, kenaikan absolut permintaan listrik komersial terbesar di AS
  • Texas telah menarik pusat data dan penambang kripto sebagai bagian dari program pengelolaan beban energi
  • Konsumsi listrik komersial Texas naik 10% sejak 2019, dan pertumbuhan yang lebih besar diperkirakan akan datang
  • Kenaikan beban pusat data turut mendorong capaian investasi energi terbarukan di Texas melampaui ekspektasi
    • ERCOT dan PJM diperkirakan memimpin seluruh AS dalam pertumbuhan energi terbarukan tahun ini dan pada 2025
    • karena keunggulan aglomerasi pusat data, perusahaan AI makin cenderung berkonsentrasi di dekat sumber daya listrik skala besar
    • hal ini menjadi latar meningkatnya minat pada energi nuklir dan kesediaan perusahaan teknologi untuk berinvestasi langsung pada infrastruktur pembangkitan listrik

Pendapatan pulih, tetapi lapangan kerja teknologi lemah

  • Di tengah boom AI, pendapatan sektor teknologi informasi pulih dari perlambatan pada 2022–2023
  • Penerbit perangkat lunak, portal pencarian web, dan penyedia infrastruktur komputasi semuanya mencatat kenaikan pendapatan 12–15% dalam setahun terakhir
  • Ini memang belum menyamai level 2021, tetapi menurut standar pra-COVID pertumbuhan pendapatannya tetap kuat
  • Meski investasi fisik melonjak dan pendapatan pulih, pertumbuhan lapangan kerja di sektor teknologi sangat lemah
    • AS hanya menambah 32 ribu pekerjaan teknologi dalam setahun terakhir
    • ini lebih rendah daripada titik mana pun pada 2021, 2022, maupun sembilan tahun sebelum pandemi
    • bahkan penerbit perangkat lunak dan industri infrastruktur komputasi yang berada di pusat boom AI hampir tidak mencatat pertambahan tenaga kerja bersih dalam setahun terakhir
  • Pasar kerja teknologi yang belakangan menyulitkan lulusan ilmu komputer belum banyak membaik

Dampak pasar tenaga kerja lebih jelas di luar pekerjaan teknologi tradisional

  • Bukan berarti boom investasi AI tidak berdampak pada pasar tenaga kerja, tetapi dampaknya lebih terkonsentrasi di luar sektor teknologi informasi tradisional
  • Total kompensasi di industri manufaktur semikonduktor naik 25% dari kuartal I 2023 hingga kuartal I 2024
    • karyawan perusahaan seperti NVIDIA juga terdampak oleh opsi saham yang nilainya makin tinggi
  • Dalam setahun terakhir, pekerjaan konstruksi komersial bertambah 30 ribu, dan sebagian merupakan efek lanjutan dari permintaan pusat data
  • Boom tenaga kerja konstruksi industri untuk fab chip dan sektor manufaktur lainnya, serta kenaikan perekrutan terkait perluasan listrik dan infrastruktur skala luas, juga sedang berlangsung
  • Dinamika ketenagakerjaan dalam boom AI sangat berbeda dari pasar tenaga kerja teknologi selama 10 tahun terakhir, dengan fokus yang lebih besar pada investasi perangkat keras, perusahaan manufaktur/desain, dan kontraktor pembangunan infrastruktur daripada programmer tradisional

Persaingan investasi dan meluas ke Chip War

  • Para pengembang AI bersaing sengit dengan keyakinan bahwa perbaikan produk dan perluasan komersialisasi akan membenarkan skala investasi historis saat ini
  • Dalam jangka pendek, investasi diperkirakan akan terus meningkat seiring pengembangan model yang lebih canggih dan meluasnya aplikasi nyata seperti kendaraan otonom
  • Para pembuat kebijakan memandang AI sebagai bidang inti masa depan ekonomi AS
    • berkat dominasi Silicon Valley dan raksasa teknologi besar AS, negara itu telah membangun keunggulan besar dalam pengembangan AI dan kapasitas pusat data
    • boom AI dinilai memberi manfaat investasi yang lebih besar bagi AS dibanding negara mana pun
  • Persaingan geopolitik seputar kapabilitas perangkat keras kemungkinan akan makin intensif
    • CHIPS Act dibuat sebelum ChatGPT, dan beberapa tokoh industri mengeluhkan bahwa dari sisi prioritas dan skala, undang-undang itu kini tampak usang
    • kenaikan permintaan semikonduktor canggih justru meningkatkan ketergantungan AS pada impor dari Taiwan yang ingin dikurangi oleh CHIPS Act
    • untuk berbagai komponen yang dibutuhkan guna memenuhi pasokan pusat data berskala besar, AS juga masih bergantung pada China
  • AS kemungkinan akan terus membatasi akses China ke chip paling canggih untuk memperlambat pengembangan AI di negara itu, sementara China terus memperluas kemampuan manufaktur chip untuk mengurangi ketergantungan impor
  • Semakin lama boom investasi AI berlangsung, semakin ia bergeser ke garis depan Chip War yang sudah ada

Bacaan terkait

1 komentar

 
GN⁺ 2024-10-21
Pendapat di Hacker News

  • Setelah membaca tulisan ini, saya jadi ingin bertaruh bahwa boom investasi padat modal kali ini juga akan berjalan mirip dengan boom investasi raksasa dalam sejarah AS.
    Seperti pembangunan rel kereta pada 1800-an, menjamurnya perusahaan otomotif pada awal 1900-an, dan boom serat optik telekomunikasi pada akhir 1990-an, setelah pembangunan infrastruktur berlebihan dalam skala besar, terjadi kehancuran ketika sebagian besar industri bangkrut, tetapi kemudian infrastruktur itu terserap dan memberi manfaat besar bagi ekonomi dan masyarakat.
    Saya teringat contoh dark fiber yang sudah terpasang setelah investasi dan kebangkrutan telekomunikasi akhir 90-an hingga awal 2000-an, yang pada akhirnya dinyalakan dan memungkinkan pertumbuhan multimedia berkualitas tinggi seperti Netflix.
    Di sini juga, investor rata-rata akan mendanai chip kelas atas, pusat data, dan pasokan energi lalu sangat kecewa, tetapi dalam jangka panjang saya melihatnya akan menghasilkan imbal hasil besar.
    Khususnya untuk investasi energi saja, sekalipun AI digambarkan sebagai kuda nil pemakan energi raksasa yang memanaskan iklim, saya percaya kebutuhan dana yang sangat besar ini akan mempercepat transisi keluar dari bahan bakar fosil, sekarang ketika energi terbarukan telah menjadi listrik termurah.

    • Sepertinya benar, dan suatu saat gelembungnya akan pecah.
      Namun persoalannya adalah kapan. Jika saat ini bukan 1999 dalam boom dot-com, melainkan setara 1995, berarti masih ada 4 tahun pertumbuhan tinggi di depan, dan bahkan setelah kehancuran, pasar pada 2029 bisa jauh lebih besar daripada 2024. Cisco pada 2001 pun masih 4 kali lebih besar daripada pada 1995.
      Yang sedikit berbeda dari gelembung masa lalu adalah, semakin besar komputasinya, AI menjadi semakin pintar dan mampu.
      Sebagai tolok ukur apakah kita masih berada di tahap awal boom, saya melihat apakah Slack menjual chatbot LLM yang bisa memberi jawaban tepercaya atas keputusan bisnis dan teknis yang dibuat di chat selama 2 tahun terakhir. Produk seperti itu belum ada, kemungkinan karena biaya menjalankan penalaran sebanyak itu dengan context window besar masih terlalu mahal.
      Karena itu, saya cenderung melihat saat ini lebih dekat ke awal gelembung daripada akhir.
      Hal lain yang perlu diawasi adalah apakah scaling law LLM cepat runtuh sehingga komputasi yang lebih besar tidak lagi menghasilkan kecerdasan yang lebih tinggi secara ekonomis. Jika begitu, gelembung tampaknya akan pecah, dan semua orang sedang melihat apakah model setingkat GPT-5 akan menunjukkan sinyal itu.
    • Saya ragu mengapa bisa melihatnya begitu. Jaringan rel, jalan, dan serat optik dapat dipakai selama puluhan tahun bahkan setelah investor awalnya bangkrut.
      Namun masalahnya, pusat data untuk komputasi AI saat ini pada dasarnya sulit digunakan untuk keperluan lain jika perusahaan AI bangkrut.
      Masalah investasi infrastruktur komputasi adalah semuanya harus punya rencana pemanfaatan dalam 5 tahun ke depan. Setelah itu, mungkin orang tidak akan mau mengambilnya meski diberikan gratis.
    • Energi terbarukan sudah sangat murah sehingga rasanya akan tetap dibangun dengan laju yang sama.
      Sebaliknya, pembangkit listrik tenaga nuklir yang mahal mungkin tidak akan dibangun tanpa gelembung ini, tetapi anehnya uang tampaknya juga mengalir ke nuklir.
    • Dalam gelembung telekomunikasi, aset yang tetap bernilai kemudian hanyalah serat optik yang tertanam di tanah. Peralatan terminal menjadi usang dalam beberapa tahun dan harus diganti, sedangkan serat optik dapat digunakan kembali dan biaya pemasangannya mahal, sehingga menjadi aset inti.
      Aset apa dalam gelembung AI yang masih akan bernilai 5 tahun lagi? Kemungkinan besar bukan gudang penuh GPU berusia 5 tahun. Mungkin saja pembangkit nuklir.
    • Rel kereta dan jaringan komputer menciptakan efek jaringan, tetapi belum jelas apakah hal yang sama berlaku untuk pusat data yang penuh perangkat keras yang sangat cepat menjadi usang.

  • Ada yang mengatakan ini mirip rel kereta, tetapi selain sama-sama mahal, ini sama sekali berbeda dari rel kereta.
    Rel kereta bertahan selama puluhan tahun dan akan tetap bermakna puluhan tahun lagi. Ia aus perlahan, dan merupakan bentuk transportasi darat yang paling efisien.
    Sebaliknya, investasi perangkat keras seperti ini akan sepenuhnya terdepresiasi dalam 6 tahun, dan kemungkinan akan dibuang karena tidak lagi layak dijalankan dari sisi output dibanding biaya listrik.
    Selain itu, ada risiko tambahan bahwa sistem AI masa depan, karena alasan apa pun, tidak akan berjalan efisien pada perangkat keras generasi saat ini.

    • Bisa jadi begitu, bisa juga tidak. GPU Nvidia P40 dirilis 8 tahun lalu dan menghasilkan panas besar, tetapi harganya naik dua kali lipat dalam setahun terakhir.
      Dalam 6 tahun tidak semuanya akan sepenuhnya terdepresiasi. Orang mungkin masih memakai A100 bahkan 15 tahun lagi. Kartu GPU V100 32GB yang berusia 7 tahun pun masih diperdagangkan seharga 1.500 dolar di eBay.
      Tampaknya lebih besar kemungkinan orang menemukan arsitektur perangkat lunak yang lebih efisien daripada menemukan jenis perangkat keras baru yang lebih baik yang menggantikan seluruh perangkat keras lama.
    • Dalam analogi ini, barang publiknya bukan perangkat keras AI, melainkan model AI.
    • Sebagian aset seperti gedung dan pasokan listrik mungkin akan tetap berguna. Meski begitu, chip kemungkinan akan segera diganti dengan yang baru.
    • Infrastruktur IT memiliki umur jauh lebih pendek dibanding industri rel kereta, tetapi margin-nya juga luar biasa tinggi.
      Investasi rel biasanya membutuhkan puluhan tahun untuk balik modal, sedangkan di industri IT biasanya kembali dalam beberapa tahun.

  • Rasanya ada kekosongan besar dalam diskusi ini. Hampir semuanya berfokus pada GPU dan investasi perangkat keras, dan memang itu sangat mendorong boom AI saat ini, tetapi sisi perangkat lunak terlewat.
    Investasi ventura yang signifikan ke platform, alat, dan aplikasi berbasis AI juga perlu dibahas. Karena tulisan ini terlalu condong membahas perangkat keras, rasanya lebih tepat disebut “boom investasi GPU”.
    Investasi perangkat lunak juga harus mendapat perhatian dengan bobot yang sama.

    • Saya melihat GPU dan pusat data berperan seperti serat optik dalam boom dot-com bagi AI.
      Banyak perangkat lunak berbasis LLM tidak ekonomis karena komputasi dan listrik yang cukup untuk menanggung pekerjaan yang ingin dilakukan belum tersedia.
    • Apakah ada data yang memperkirakan proporsi itu dengan baik? Dari startup AI yang saya cukup kenal, bahkan jika bukan startup perangkat keras, kesannya sebagian besar dana ventura yang mereka himpun secara langsung atau tidak langsung kembali menjadi biaya perangkat keras.
      Namun saya tidak punya angka pasti.
    • Kalau melihat YC dan Product Hunt belakangan ini, hampir semua perangkat lunak yang dipromosikan berlebihan sekarang adalah “sesuatu yang AI Powered”.
      Untuk setiap satu perusahaan yang benar-benar membuat AI melakukan hal berguna, ada kira-kira sepuluh perusahaan yang memaksakan AI ke suatu bagian aplikasi lama lalu mengemasnya sebagai “AI Powered”, dan itu cukup menjengkelkan.
      Baru-baru ini perusahaan kami mengevaluasi Zenhub, dan tim sales sangat menekankan bahwa aplikasi itu memakai AI. Setelah dilihat, ternyata hanya integrasi AI paling dasar, yaitu membuat deskripsi story dari prompt.
      AI sangat berguna, tetapi tidak perlu dimasukkan ke segala hal.
    • Banyak yang membahas pusat data dan komputasi cloud, tetapi tidak menyebut chip untuk inferensi di perangkat.
      Mengingat posisi mobile di lapisan antarmuka, jika saya seorang investor ventura, saya akan bertaruh pada inferensi on-device.

  • Entah kenapa semua artikel yang melebih-lebihkan selalu diawali kalimat seperti “produk AI sudah digunakan secara luas di jauh lebih banyak bidang, seperti pembuatan kode, teks, dan gambar, analisis data, otomatisasi pekerjaan, peningkatan platform online, dan penggunaannya diperkirakan akan terus meningkat”
    Secara pribadi, penggunaan Copilot saya saat coding justru menurun. Saya terus mencobanya, tetapi ia cepat tersesat dan mengeluarkan bug-bug halus, sehingga waktu debugging malah lebih banyak daripada kalau saya menulisnya sendiri
    Karena mungkin saya tidak sempat memeriksa kodenya dengan cukup, selalu ada perasaan “ini bisa saja meledak di production dengan cara yang tidak diketahui”. Rekan kerja dan teman-teman saya juga bilang merasakan hal serupa
    Saya juga mencoba model baru ‘chain-of-thought’, tetapi anehnya terlihat lebih buruk

    • Komentar ini mengingatkan saya bahwa saya ternyata masih punya langganan Copilot
      Selama beberapa bulan ia tidak memberi saran kode yang berguna, sampai-sampai hilang dari ingatan saya. Saya baru saja login dan membatalkannya
      Sekarang saya harus mengecek apakah langganan lain juga bisa dibatalkan atau diturunkan ke paket yang lebih murah
    • Pengalaman saya juga mirip. Baru-baru ini saya memakai Claude untuk pekerjaan coding, dan ia terus-menerus menyeret saya masuk ke lubang kelinci, setiap kali rasanya makin buruk dari sebelumnya
      Meski begitu, ia tidak bisa berhenti dengan mengatakan “maaf, sebenarnya saya tidak tahu cara membantu Anda”
    • Saya merasa AI saat ini lebih mirip guru daripada pelaksana. Saat mempelajari hal baru atau mencari ide arah yang harus diambil, ia benar-benar membantu
      Namun kode sebenarnya tampaknya masih sebagian besar harus ditulis manusia
      AI adalah alat yang hebat dan sangat mempercepat pekerjaan, tetapi itu tidak cocok dengan gagasan ajaib bahwa kita cukup memberi ide lalu AI mengerjakan semua pekerjaan remeh
      Secara umum, selalu lebih baik membangun model berpikir berdasarkan bukti nyata, bukan fantasi, dan saat ini banyak fantasi yang tercampur. Bukan berarti kita harus pesimistis terhadap kemungkinan perkembangan di masa depan, tetapi sangat sulit memprediksi bentuk perbaikan itu nantinya
    • Menurut pengalaman saya, ini makin baik seiring waktu, dan khususnya dalam mengintegrasikan LLM dengan Language Server Protocol serta alat lain, masih ada banyak ruang perbaikan yang relatif mudah diraih
      Meski begitu, pada titik ini belum cukup untuk bekerja secara mandiri, jadi lebih baik dipakai seperti pair programming dengan developer manusia tingkat menengah yang tidak punya banyak konteks proyek dan rentang fokusnya pendek
      Terutama ketika AI diberi satu fungsi atau satu refactoring saja dalam satu waktu, dan dibuat agar mudah diuji selama prosesnya, saya mendapatkan nilai yang besar
    • Karena semua artikelnya juga ditulis oleh AI

  • Setiap kali melihat tulisan dan diskusi seperti ini, saya selalu heran mengapa kita tidak menyadari betapa absurdnya situasi ketika kita mengatakan bahwa kita telah merusak planet ini dan mungkin hanya tersisa 5–6 tahun sebelum kerusakan mendasar, tetapi pada saat yang sama menginvestasikan sumber daya yang sulit dibayangkan ke LLM
    Pada akhirnya kita harus menyerah pada harapan tentang apa yang bisa dihasilkan LLM jika investasinya cukup besar, atau menyerah pada argumen yang sangat keras tetapi pada kenyataannya tampak kosong tentang kerusakan yang kita timbulkan terhadap Bumi

    • Saya tidak tahu siapa yang dimaksud “kita” di sini. Satu sisi masyarakat membunyikan alarm bahwa akan terjadi kerusakan yang tidak dapat dipulihkan pada lingkungan, sementara sisi lain tampaknya berusaha menaikkan angka secepat mungkin tanpa mempertimbangkan, atau sengaja mengabaikan, dampaknya terhadap kehidupan manusia yang lebih luas
      Orang-orang yang mendorong investasi AI tidak akan terlalu terdampak oleh perubahan iklim. Bahkan jika ratusan juta orang di wilayah tropis mati dan sebagian besar aktivitas manusia yang terorganisasi runtuh, mereka akan terlindung dari konsekuensinya sampai detik terakhir, jadi mereka tidak peduli
    • Mungkin, benar-benar mungkin, sekarang ketika kita membutuhkan lebih banyak energi, akhirnya kita bisa menemukan cara pembangunan yang lebih berkelanjutan
    • Saya penasaran apa yang dimaksud dengan “argumen kosong”
    • Anda pasti pernah mendengar booming tenaga surya. Pertumbuhannya eksponensial
      Dan bukan seolah-olah seluruh dunia dipimpin oleh satu orang yang memutuskan apa yang akan terjadi

  • Gelembung AI akan pecah tahun depan. Saat ini kira-kira seperti tahun 1998 dalam gelembung dot-com, dan musim dingin AI lain sedang mendekat
    LLM dan AI generatif adalah rencana bisnis gaya “bisnis di internet” atau “Uber untuk X” tahun ini

    • Apakah pecahnya gelembung AI akan menyeret turun seluruh dunia startup lainnya, atau justru memungkinkan lebih banyak investasi ke teknologi non-AI?
      Teknologi terkait iklim membutuhkan lebih banyak uang
    • Sepertinya tidak akan begitu
      Gelembung ekonomi akan pecah setelah pemilu, dan kita akan tahu ketika The Fed mulai menaikkan suku bunga lagi. Namun katalis kali ini kemungkinan besar adalah properti komersial
      Di dalam properti komersial, data center adalah satu-satunya pos yang terlihat sehat di mata investor, apalagi karena booming AI. Saya rasa investor seperti itu akan menuangkan lebih banyak uang daripada sebelumnya ke pembangkit listrik dan sektor lain terkait AI untuk menghindari keruntuhan yang sudah dijadwalkan
      Variabel terbesar adalah apakah kekuatan oligarki supranasional akan mencoba memanfaatkan keruntuhan ini untuk perubahan kebijakan moneter yang jauh lebih besar, seperti mata uang digital bank sentral
    • Rasio harga terhadap laba pasar sangat tinggi, dan sudah tinggi cukup lama. Saham teknologi dan AI menopang sebagian besar dari itu
      Lihat saja apa yang terjadi pada Tesla ketika fundamentalnya mulai sedikit goyah. Meski begitu, saya berhati-hati untuk memprediksi bahwa “gelembung AI” akan pecah tahun depan

  • Saya harap gelembung AI berakhir agar HN bisa membicarakan hal lain

    • Gelembung AI kapan pun masih lebih baik daripada gelembung kripto
    • Kalau lelah, Anda bisa ikut diskusi kekacauan WordPress. Belakangan ini topik itu cukup ramai muncul di sini
    • Sepertinya akan pecah jika The Fed menilai inflasi belum berakhir dan mulai menaikkan suku bunga lagi dalam 6 bulan
      Gelembung hanya bisa diberi makan sampai rakyat kecil tidak sanggup lagi menanggung kenaikan harga
    • Dari 30 tulisan teratas HN bulan lalu (https://hn.algolia.com/?dateRange=pastMonth&page=0&prefix=fa...), hanya 6 yang tentang AI
      Tulisan AI tertinggi ada di peringkat 10, “OpenAI to become for-profit”, sementara peringkat 1 adalah “Bop Spotter”, lalu Starship dan pembatalan langganan dengan sekali klik
    • Orang-orang akan membicarakan AI selama sisa hidup mereka. Kalau mau, Anda bisa bergabung dengan komunitas Amish atau tinggal di hutan sambil melakukan pekerjaan seperti Firewatch

  • Saya penasaran apa dampaknya terhadap biaya cloud bagi orang-orang seperti kita
    Di satu sisi mungkin ada skala ekonomi, tetapi di sisi lain orang lain bisa menghabiskan sumber daya cloud dan menaikkan harga. Ada yang punya tebakan bagaimana jadinya?

    • Sepertinya tidak akan menaikkan biaya cloud tradisional berbasis CPU
      Lihat saja Ampere 192-core dan CPU AMD 196-core. Peningkatan efisiensi akan terus menurunkan rasio harga terhadap performa cloud tradisional

  • Secara alami, saya belum menemukan “AI” yang tidak berhalusinasi, dan saya tidak tahu bagaimana “AI” yang berhalusinasi bisa berguna di luar penggunaan ceruk

    • Pada model-model baru, kecenderungan mengarang makin berkurang. Saya menguji kasus yang penting untuk pengarang-ngarangan berbasis dokumen yang diberikan, yaitu RAG, di sini: https://github.com/lechmazur/confabulations/
      Perbedaan antara GPT-4 Turbo dan GPT-4o cukup besar
    • Untuk topik yang sangat sempit dan terfokus, saya merasa LLM jauh lebih membantu dan umumnya akurat. Konten yang dihasilkan tinggal diverifikasi dengan kode sumber terkait atau dokumentasi resmi
      Secara teori, berbicara dengan Claude atau 4o saat ada hal sederhana yang ingin ditanyakan menghemat banyak sekali waktu setiap hari. Sebelumnya, harus membongkar empat mesin pencari atau lebih dan menerobos terlalu banyak spam optimasi mesin pencari terasa mengecewakan
      Fitur ringkasan sekarang juga sudah seperti meme, tetapi sangat berguna. Jika sepanjang hari semua tautan yang tampak menarik dimasukkan ke database, cron job Cloudflare akan mengambil isi tiap tautan, membuat ringkasan dengan 4o, lalu menyimpannya
      Pada akhir pekan, saya menelusuri ringkasan tautan yang tersimpan, dan jika terlihat cukup menarik, saya memeriksanya sendiri dan meneliti lebih lanjut
      Faktanya, saya mengetahui SolidJS dari sebuah tulisan acak dengan hanya beberapa suara di halaman 4 HN, dan ringkasannya saja sudah memberi informasi yang cukup untuk membuat saya mencoba SolidJS tanpa harus membaca habis tulisan keluhan tentang ReactJS
    • Menurut saya, tujuan meminimalkan halusinasi perlu disesuaikan. Saat manusia “berbohong”, ada cara yang sudah akrab. Seperti “sepertinya restoran itu di sekitar sini” atau “bukankah orang itu muncul di Inception?”, manusia cukup baik menyampaikan informasi mana yang mereka yakini dan mana yang tidak pasti melalui suara, gestur, dan gaya tulisan
      Saya pernah mengajukan pertanyaan sederhana ke Gemini, dan halusinasinya benar-benar mengganggu. Karena ia menyampaikan kebohongan dengan percaya diri, otak naluriah saya menilainya tidak bisa dipercaya dan membuat saya tidak ingin bertanya lagi
      Mengingat sifat probabilistik cara kerja LLM, penghapusan halusinasi mungkin mustahil, tetapi cara menyajikannya kepada manusia bisa diatur dengan lebih baik
    • Tidak perlu repot membayangkannya. AI generatif sudah sangat berguna dalam banyak aplikasi non-ceruk
    • Menurut saya ada banyak pembuatan konten yang kualitasnya sebenarnya tidak terlalu penting. Dalam kasus seperti itu, halusinasi juga tidak terlalu penting
      Selama bukan hal yang bisa menimbulkan masalah hukum, misalnya ujaran kebencian atau pencemaran nama baik
      Untuk menyebarkan artikel, posting media sosial, bahkan video secara massal, pada skala tersebut halusinasi tidak terlalu penting. Sudah ada cukup banyak konten yang menghasilkan cukup banyak tayangan sehingga ini menjadi strategi yang sampai batas tertentu layak dijalankan

  • Saya ingat pernah mendengar Dr. Robert Martin, yang memimpin Bell Labs pada akhir 90-an, mengatakan bahwa kapasitas bandwidth akan menuju tak terbatas dan biaya per bit akan menuju nol
    Kita semua tahu bagaimana nasib perusahaan pembangun kapasitas optik saat itu sebelum gelembung pecah
    Apakah ada dasar untuk menganggap permintaan atas kecerdasan tidak akan habis? Apakah ada dasar untuk menganggap, seperti kata Sama, bahwa biaya kecerdasan sebagai input sistem akan konvergen ke harga listrik untuk menjalankan GPU data center? Keduanya mungkin saja
    Namun hal yang sama juga bisa dikatakan untuk satu bit bandwidth

    • Saya sangat skeptis bahwa kecerdasan tanpa batas akan berdampak positif pada standar hidup pekerja pengetahuan
      Dalam skenario yang lebih pesimistis, AI akan menggantikan kita dan kita akan dikirim ke tambang batu bara
      Bahkan dalam skenario paling optimistis, standar hidup adalah gabungan dari banyak faktor yang berakar pada realitas, jadi menurut saya batas atas sebenarnya hanya sekitar kualitas hidup menjadi dua kali lipat. Itu bukan berarti tidak ada artinya, tetapi jika melihat 150 tahun terakhir, itu bukan tingkat yang belum pernah terjadi sebelumnya
    • Teks yang dihasilkan bukanlah kecerdasan