Terkejut karena Manhattan Project dan Apollo Program terdengar lebih “murah” daripada yang dibayangkan
Aneh rasanya bahwa biaya mengirim manusia ke Bulan pada 1960-an kira-kira setara dengan pembelian kembali saham Apple baru-baru ini
Mungkin karena inflasi selama sekitar 100 tahun terakhir telah diremehkan. Seiring waktu, selisih itu menumpuk besar secara majemuk
Perbandingan yang lebih adil adalah melihatnya sebagai berapa tahun gaji rata-rata warga
Manhattan Project bernilai 2 miliar dolar pada 1944, setara dengan 121 ribu rumah tangga-tahun berdasarkan pendapatan rumah tangga median dalam sensus 1940
Pembelian kembali saham Apple bernilai 110 miliar dolar pada 2024, setara dengan 122.910 rumah tangga-tahun berdasarkan sensus 2022
Jadi selama 80 tahun, angka inflasi resmi tampaknya menaksir biaya sekitar 3,5 kali lebih rendah
Saat itu AS jauh lebih miskin dan standar hidupnya juga jauh lebih rendah. Karena itu upah, bahkan setelah disesuaikan inflasi, juga jauh lebih rendah, dan karena sedang perang, orang-orang yang direkrut wajib militer harus bekerja dengan upah rendah tanpa pilihan. Ini menjelaskan banyak hal
Sebenarnya sama sekali tidak murah; biayanya hanya ditunda ke masa depan. Pembersihan situs Hanford diperkirakan menelan biaya 16,8 miliar hingga 550 miliar dolar Fasilitas Santa Susana, tempat roket Apollo diuji, juga akan menelan biaya miliaran dolar untuk pembersihan, dan ada faktor biaya lain di sana
Dalam situasi tertekan, efektivitas biaya adalah kunci. Dibandingkan era WWII dan pascaperang 1960-an, dalam masyarakat yang relatif makmur dan longgar seperti sekarang, semua biaya meningkat
Dulu orang bisa membangun jalan, rel kereta, dan kapal, tetapi sekarang ada ratusan aturan, pelobi, dan para pemangku kepentingan yang masing-masing menuntut bagiannya
Setelah masalah bertahan hidup untuk sementara teratasi, insentif finansial menjadi jauh lebih penting
Manhattan Project dan Apollo Program sama-sama bernilai 0,4% dari GDP. Dengan GDP saat ini sebesar 27 triliun dolar, 108 miliar dolar adalah rasio yang sama, dan uang yang dibelanjakan Meta untuk GPU bahkan tidak sampai sepertiganya
Jadi satu perusahaan menghabiskan sekitar 0,1% dari GDP AS untuk proyek hobi yang bahkan bukan pemimpin pasar?
Skalanya sulit dipercaya, dan itu bukan hal yang baik
Meta membayar GPU-GPU ini selama beberapa tahun, bukan dalam satu tahun. Belanja modal tahunan Meta sekitar 30 miliar dolar, dan tidak semuanya digunakan untuk GPU
Selain itu, kecil kemungkinan Meta membayar harga ritel
Kalau begitu, pembelian kembali saham Apple senilai 110 miliar dolar lebih besar daripada itu
Jika pengeluaran atau pendapatan semua perusahaan dijumlahkan, totalnya bisa jauh melampaui GDP
Tampaknya kompleksitas luar biasa dari GPU, CPU, SoC modern justru kurang terasa bagi kita
Dibandingkan proses memproduksi chip 3nm berisi puluhan miliar transistor, Manhattan Project sulit disebut proyek raksasa. Memang terobosan besar, tetapi sulit menyebutnya “raksasa” dibandingkan pengembangan wafer EUV
Pencapaian besar Manhattan Project yang kurang dikenal juga layak disebut. Intinya bukan para ilmuwannya, melainkan Hanford dan Oak Ridge
Hanford bukan hanya reaktor, tetapi proyek yang secara harfiah membangun kota berpenduduk lebih dari 43 ribu orang di tempat yang sebelumnya tidak ada apa-apa
Oak Ridge memiliki K-25, bangunan terbesar di dunia saat itu, dan baru dilampaui lebih dari 20 tahun kemudian oleh Boeing Everett Factory
Kedua lokasi ini juga merupakan pusat biaya utama proyek tersebut. Sains itu murah, tetapi pengayaan uranium dan pembuatan plutonium, terutama melakukan sesuatu yang belum pernah dilakukan siapa pun, tidaklah murah
10% adalah kompleksitas yang luar biasa, dan 90% adalah margin laba Nvidia
Saya selalu kagum setiap melihat kualitas dan craftsmanship dari hasil karya yang dibuat kira-kira sebelum era 1960-an
Entah apa yang membuat masyarakat pada masa itu berubah menjadi masyarakat modern yang begitu boros, lambat, mahal, dan kurang ambisi, tetapi kalau bisa kembali, saya ingin kembali
Menurut saya penyebabnya adalah lapisan manajemen profesional. Di manufaktur dan bidang lain, ada berbagai reformasi besar yang mengusung manajemen yang “lebih efisien”, lalu kemudian diterapkan juga pada knowledge work
Khususnya dalam pekerjaan birokratis perkantoran, spesialisasi berkurang. Sekarang semua orang, bahkan dokter, pada dasarnya menjalankan peran sekretarisnya sendiri
Menurut anekdot dari orang-orang yang menyaksikan langsung masa transisi itu, salah satu hal yang dirusak oleh budaya manajemen baru ini adalah manajemen itu sendiri, terutama manajemen tingkat bawah dan menengah
Dulu, waktu yang dihabiskan manajer untuk rapat dengan rekan sejawat atau atasan berbeda secara bertahap sesuai jenjang jabatan; manajer tingkat bawah lebih sedikit mengikuti rapat semacam itu dan lebih berfokus pada kebutuhan bawahan serta menjaga operasional tetap berjalan
Setelah perubahan itu, semua lapisan manajemen tersedot ke dalam budaya rapat, rapat, dan rapat lagi, dan sebagian besarnya bernilai rendah. Pamer dan politik kantor juga merembes jauh lebih parah sampai ke bagian bawah organisasi dibanding sebelumnya
Katanya ada 400.000 orang di balik Apollo 11. Kalau hampir setengah juta orang mencurahkan hidupnya untuk membuat satu benda, rasanya bahkan hari ini pun kita bisa menghasilkan sesuatu yang berkualitas tinggi dan dibuat dengan baik
Nvidia: 26.000 orang
TSMC: 73.000 orang
Intel: 124.000 orang
AMD: 25.000 orang
Qualcomm: 50.000 orang
ASML: 42.000 orang
Dilihat dari skala tenaga kerja, seluruh industri semikonduktor dunia mungkin berada pada tingkat yang mirip
Ini bukan hanya soal kualitas hasil dan craftsmanship. Upah pekerja tidak naik, sementara produktivitas meningkat; orang kaya menjadi semakin kaya, dan 90% kelompok pendapatan terbawah tidak bisa menjadi lebih baik
Cukup gila bahwa begitu banyak indikator terus memburuk sejak 1971[1]
[1] https://wtfhappenedin1971.com/
Seusai perang, machine tools berlimpah dan pengalaman dalam proses manufaktur logam juga sangat banyak
Plastik termoplastik cetak injeksi yang cocok untuk penggunaan jauh lebih luas daripada mainan masih kurang tersedia
Biaya tenaga kerja yang relatif tinggi mungkin mengurangi insentif untuk menghemat biaya material
Konsumen bersedia membayar harga lebih tinggi untuk barang manufaktur, tetapi sebagai gantinya mengharapkan barang itu bisa diperbaiki dan tahan lama
Elektronik berbasis tabung vakum sering membutuhkan tegangan tinggi serta transformator atau baterai yang berat, sehingga bentuk casing-nya ditentukan oleh logam atau kayu, dan cara penggunaannya pun bukan portabel. Misalnya, radio konsumen biasanya sering diintegrasikan ke dalam furnitur
Saya punya hipotesis sendiri, tetapi sepertinya lebih baik menyimpannya sendiri dan berusaha sebaik mungkin pada proyek saya
I had no idea of the power of large companies. Only recently I learned that in constant dollars the development of the IBM 360 has been more expensive than the Manhattan Project.
Bagian yang langsung menyusul juga menarik
I was beginning to see American publications in the first issue of Communications of the ACM. I was shocked by the clumsy, immature way in which they talked about computing. There was a very heavy use of anthropomorphic terminology, the "electronic brain" or "machines that think." That is absolutely killing. The use of anthropomorphic terminology forces you linguistically to adopt an operational view. And it makes it practically impossible to argue about programs independently of their being executed.
Kalau dicek intinya, https://thehistoryofcomputing.net/the-ibm-system360 mengatakan “IBM menghabiskan 5 miliar dolar dalam nilai uang pertengahan 1960-an”, sedangkan Manhattan Project disebut menghabiskan 2 miliar dolar
Menurut https://en.wikipedia.org/wiki/Manhattan_Project, angka itu adalah dolar tahun 1945, dan dengan kalkulator inflasi CPI di https://www.bls.gov/data/inflation_calculator.htm, nilainya sekitar 3,5 miliar dolar dalam dolar 1965
Jika dihitung mundur, 30 miliar dolar yang dihabiskan untuk pelatihan GPU ini hanya setara 3 miliar dolar dalam dolar 1965, jadi lebih murah daripada 360
Setelah menghabiskan uang sebanyak itu, bagaimana mungkin mereka masih belum bisa mengejar OpenAI? Mengapa OpenAI bisa sebagus ini?
Saya bukan pakar machine learning, tetapi rasanya istilah “tidak bisa” agak terlalu keras. Kalau melihat podcast yang menampilkan Mark Zuckerberg, Meta bisa ditafsirkan tidak ingin bersaing langsung dengan OpenAI
Dengan layanan AI yang sudah ada seperti rekomendasi saja, mereka sudah memakai banyak sumber daya. Iklan sekarang dan ke depannya tetap menjadi sumber pemasukan tunai, sementara model bahasa berskala besar belum menghasilkan pendapatan besar
Pendapatan OpenAI pada 2023 sekitar 2 miliar dolar AS dan akan meningkat besar pada 2024, tetapi Meta mencatat laba bersih 40 miliar dolar AS pada 2023. Secara finansial, belum ada alasan untuk bersaing
Llama 400B masih dalam pelatihan, dan mungkin bisa mengungguli banyak use case GPT-4
Saya penasaran apakah Anda sudah mencoba meta.ai yang disediakan gratis. Dari sisi kemampuan, sebenarnya sudah cukup kompetitif, hanya saja Meta belum terlalu memedulikannya atau mempromosikannya secara besar-besaran
Llama 3 405B yang masih dalam pelatihan juga punya peluang yang tidak kecil untuk melampaui model OpenAI terbaik saat ini
Untuk bahasa Inggris, Llama 3 70B sudah mengalahkan semua model Google dan Anthropic, dan hanya kalah dari versi GPT-4 terbaru. Ini berdasarkan hasil Open LLM Arena
LLAMA 3 cukup bagus, dan pekerjaan di sisi vision seperti segment anything juga berada di garis terdepan. Facebook sudah punya jalur monetisasi yang kuat, jadi tidak perlu repot-repot menerbitkan paper atau membuat demo
Apakah sudah diungkap seberapa banyak Meta memakai GPU ini untuk operasional internal, dan penghematan seperti apa yang mereka lihat dari sana?
Selain kotak chat “meta ai” yang mengecewakan, sepertinya ada sangat banyak area tempat H100 bisa diterapkan. Mulai dari mesin rekomendasi konten hingga pencegahan penyalahgunaan, serta optimasi bandwidth jaringan dan arus trafik
@MetaAI yang masuk sebagai anggota grup di chat grup cukup bagus. Kita bisa bercanda bersama dengan gambar, menulis cerita, memintanya meniru penulis, atau menulis bab dari buku yang buruk
Beberapa chat grup lama yang sudah berhari-hari tidak ada pesan hidup kembali menjadi tempat untuk terus bermain-main dengan AI
Saya merasa perbandingan seperti ini sulit ditafsirkan. Sebab, meskipun mengabaikan inflasi, ekonomi tempat belanja seperti ini berada juga sedang tumbuh
Akan lebih jelas jika biayanya dinyatakan sebagai persentase terhadap ekonomi dunia, ekonomi kawasan sosial seperti wilayah ekonomi Eropa atau kawasan Tiongkok Raya, atau ekonomi suatu negara
Mungkin ada sesuatu yang saya lewatkan
Saya tidak mengerti mengapa semua orang hanya membicarakan inflasi. Pada masa Manhattan Project, untuk membuat perangkat seperti GPU modern, mereka harus membangun superkomputer yang jauh lebih besar dan lebih mahal daripada proyek itu sendiri
Teknologi memang menjadi jauh lebih murah, bahan yang dibutuhkan juga berkurang, dan biaya risetnya sudah dibayar
Jika itu benar, saya ingin menambahkan: semuanya didanai oleh perhatian manusia yang dirampas iklan dan eksploitasi data pribadi pengguna. Selamat, umat manusia
Kalau uang seperti itu dipakai di bidang yang berguna, apa yang mungkin bisa dicapai?
Justru bidang industri berat lain dalam ekonomi sudah dimonopoli, sehingga nyaris sulit untuk mencapai sesuatu di sana
Saat Google masuk ke bidang telekomunikasi, tampaknya mereka akan dengan mudah meruntuhkan parasit lama seperti AT&T, Verizon, dan Comcast, tetapi apa yang sebenarnya terjadi?
Upaya Apple masuk ke mobil, perbankan (kartu kredit), dan konten juga cerita yang sama
Karena itu uang tersebut pada akhirnya hanya dipakai dengan cara seperti ini. Mereka tidak bisa menyentuh Exxon, Monsanto, Pfizer, Boeing, dan juga tidak bisa berbuat banyak pada perumahan, pendidikan, layanan kesehatan, maupun perbankan
Pada akhirnya, membakar uang untuk hal-hal baru menjadi jalur bawaan dengan hambatan paling kecil. Semua “bidang yang berguna” sudah dibentengi tembok
Meta tidak menjual data pribadi; mereka hanya menggunakannya untuk iklan
1 komentar
Pendapat Hacker News
Terkejut karena Manhattan Project dan Apollo Program terdengar lebih “murah” daripada yang dibayangkan
Aneh rasanya bahwa biaya mengirim manusia ke Bulan pada 1960-an kira-kira setara dengan pembelian kembali saham Apple baru-baru ini
Perbandingan yang lebih adil adalah melihatnya sebagai berapa tahun gaji rata-rata warga
Manhattan Project bernilai 2 miliar dolar pada 1944, setara dengan 121 ribu rumah tangga-tahun berdasarkan pendapatan rumah tangga median dalam sensus 1940
Pembelian kembali saham Apple bernilai 110 miliar dolar pada 2024, setara dengan 122.910 rumah tangga-tahun berdasarkan sensus 2022
Jadi selama 80 tahun, angka inflasi resmi tampaknya menaksir biaya sekitar 3,5 kali lebih rendah
Fasilitas Santa Susana, tempat roket Apollo diuji, juga akan menelan biaya miliaran dolar untuk pembersihan, dan ada faktor biaya lain di sana
Dulu orang bisa membangun jalan, rel kereta, dan kapal, tetapi sekarang ada ratusan aturan, pelobi, dan para pemangku kepentingan yang masing-masing menuntut bagiannya
Setelah masalah bertahan hidup untuk sementara teratasi, insentif finansial menjadi jauh lebih penting
Manhattan Project dan Apollo Program sama-sama bernilai 0,4% dari GDP. Dengan GDP saat ini sebesar 27 triliun dolar, 108 miliar dolar adalah rasio yang sama, dan uang yang dibelanjakan Meta untuk GPU bahkan tidak sampai sepertiganya
Skalanya sulit dipercaya, dan itu bukan hal yang baik
Selain itu, kecil kemungkinan Meta membayar harga ritel
https://fred.stlouisfed.org/series/FYONGDA188S
Tampaknya kompleksitas luar biasa dari GPU, CPU, SoC modern justru kurang terasa bagi kita
Dibandingkan proses memproduksi chip 3nm berisi puluhan miliar transistor, Manhattan Project sulit disebut proyek raksasa. Memang terobosan besar, tetapi sulit menyebutnya “raksasa” dibandingkan pengembangan wafer EUV
Hanford bukan hanya reaktor, tetapi proyek yang secara harfiah membangun kota berpenduduk lebih dari 43 ribu orang di tempat yang sebelumnya tidak ada apa-apa
Oak Ridge memiliki K-25, bangunan terbesar di dunia saat itu, dan baru dilampaui lebih dari 20 tahun kemudian oleh Boeing Everett Factory
Kedua lokasi ini juga merupakan pusat biaya utama proyek tersebut. Sains itu murah, tetapi pengayaan uranium dan pembuatan plutonium, terutama melakukan sesuatu yang belum pernah dilakukan siapa pun, tidaklah murah
Saya selalu kagum setiap melihat kualitas dan craftsmanship dari hasil karya yang dibuat kira-kira sebelum era 1960-an
Entah apa yang membuat masyarakat pada masa itu berubah menjadi masyarakat modern yang begitu boros, lambat, mahal, dan kurang ambisi, tetapi kalau bisa kembali, saya ingin kembali
Khususnya dalam pekerjaan birokratis perkantoran, spesialisasi berkurang. Sekarang semua orang, bahkan dokter, pada dasarnya menjalankan peran sekretarisnya sendiri
Menurut anekdot dari orang-orang yang menyaksikan langsung masa transisi itu, salah satu hal yang dirusak oleh budaya manajemen baru ini adalah manajemen itu sendiri, terutama manajemen tingkat bawah dan menengah
Dulu, waktu yang dihabiskan manajer untuk rapat dengan rekan sejawat atau atasan berbeda secara bertahap sesuai jenjang jabatan; manajer tingkat bawah lebih sedikit mengikuti rapat semacam itu dan lebih berfokus pada kebutuhan bawahan serta menjaga operasional tetap berjalan
Setelah perubahan itu, semua lapisan manajemen tersedot ke dalam budaya rapat, rapat, dan rapat lagi, dan sebagian besarnya bernilai rendah. Pamer dan politik kantor juga merembes jauh lebih parah sampai ke bagian bawah organisasi dibanding sebelumnya
Nvidia: 26.000 orang
TSMC: 73.000 orang
Intel: 124.000 orang
AMD: 25.000 orang
Qualcomm: 50.000 orang
ASML: 42.000 orang
Dilihat dari skala tenaga kerja, seluruh industri semikonduktor dunia mungkin berada pada tingkat yang mirip
Cukup gila bahwa begitu banyak indikator terus memburuk sejak 1971[1]
[1] https://wtfhappenedin1971.com/
Plastik termoplastik cetak injeksi yang cocok untuk penggunaan jauh lebih luas daripada mainan masih kurang tersedia
Biaya tenaga kerja yang relatif tinggi mungkin mengurangi insentif untuk menghemat biaya material
Konsumen bersedia membayar harga lebih tinggi untuk barang manufaktur, tetapi sebagai gantinya mengharapkan barang itu bisa diperbaiki dan tahan lama
Elektronik berbasis tabung vakum sering membutuhkan tegangan tinggi serta transformator atau baterai yang berat, sehingga bentuk casing-nya ditentukan oleh logam atau kayu, dan cara penggunaannya pun bukan portabel. Misalnya, radio konsumen biasanya sering diintegrasikan ke dalam furnitur
Kalau begitu, apakah itu lebih sedikit daripada uang yang dikeluarkan IBM untuk System/360?
Mengutip Dijkstra https://cacm.acm.org/news/an-interview-with-edsger-w-dijkstr...
Setelah menghabiskan uang sebanyak itu, bagaimana mungkin mereka masih belum bisa mengejar OpenAI? Mengapa OpenAI bisa sebagus ini?
Dengan layanan AI yang sudah ada seperti rekomendasi saja, mereka sudah memakai banyak sumber daya. Iklan sekarang dan ke depannya tetap menjadi sumber pemasukan tunai, sementara model bahasa berskala besar belum menghasilkan pendapatan besar
Pendapatan OpenAI pada 2023 sekitar 2 miliar dolar AS dan akan meningkat besar pada 2024, tetapi Meta mencatat laba bersih 40 miliar dolar AS pada 2023. Secara finansial, belum ada alasan untuk bersaing
Untuk bahasa Inggris, Llama 3 70B sudah mengalahkan semua model Google dan Anthropic, dan hanya kalah dari versi GPT-4 terbaru. Ini berdasarkan hasil Open LLM Arena
Apakah sudah diungkap seberapa banyak Meta memakai GPU ini untuk operasional internal, dan penghematan seperti apa yang mereka lihat dari sana?
Selain kotak chat “meta ai” yang mengecewakan, sepertinya ada sangat banyak area tempat H100 bisa diterapkan. Mulai dari mesin rekomendasi konten hingga pencegahan penyalahgunaan, serta optimasi bandwidth jaringan dan arus trafik
Beberapa chat grup lama yang sudah berhari-hari tidak ada pesan hidup kembali menjadi tempat untuk terus bermain-main dengan AI
Saya merasa perbandingan seperti ini sulit ditafsirkan. Sebab, meskipun mengabaikan inflasi, ekonomi tempat belanja seperti ini berada juga sedang tumbuh
Akan lebih jelas jika biayanya dinyatakan sebagai persentase terhadap ekonomi dunia, ekonomi kawasan sosial seperti wilayah ekonomi Eropa atau kawasan Tiongkok Raya, atau ekonomi suatu negara
Mungkin ada sesuatu yang saya lewatkan
Saya tidak mengerti mengapa semua orang hanya membicarakan inflasi. Pada masa Manhattan Project, untuk membuat perangkat seperti GPU modern, mereka harus membangun superkomputer yang jauh lebih besar dan lebih mahal daripada proyek itu sendiri
Teknologi memang menjadi jauh lebih murah, bahan yang dibutuhkan juga berkurang, dan biaya risetnya sudah dibayar
Jika itu benar, saya ingin menambahkan: semuanya didanai oleh perhatian manusia yang dirampas iklan dan eksploitasi data pribadi pengguna. Selamat, umat manusia
Kalau uang seperti itu dipakai di bidang yang berguna, apa yang mungkin bisa dicapai?
Saat Google masuk ke bidang telekomunikasi, tampaknya mereka akan dengan mudah meruntuhkan parasit lama seperti AT&T, Verizon, dan Comcast, tetapi apa yang sebenarnya terjadi?
Upaya Apple masuk ke mobil, perbankan (kartu kredit), dan konten juga cerita yang sama
Karena itu uang tersebut pada akhirnya hanya dipakai dengan cara seperti ini. Mereka tidak bisa menyentuh Exxon, Monsanto, Pfizer, Boeing, dan juga tidak bisa berbuat banyak pada perumahan, pendidikan, layanan kesehatan, maupun perbankan
Pada akhirnya, membakar uang untuk hal-hal baru menjadi jalur bawaan dengan hambatan paling kecil. Semua “bidang yang berguna” sudah dibentengi tembok