Saya menambahkan bantahan Google dan lampiran yang membahas algoritme AlphaChip secara umum di bagian paling bawah tulisan tentang AlphaChip (https://vighneshiyer.com/misc/ml-for-placement/)
Singkatnya, saya menilai para penulis Nature memang menyampaikan beberapa kritik yang valid terhadap metodologi pelatihan para penulis ISPD. Namun AlphaChip tetap kurang kompetitif dibanding floorplanner otomatis komersial dan AutoDMP karena biaya komputasi dan waktu eksekusinya terlalu besar. Meski begitu, para penulis ISPD perlu menerbitkan studi yang lebih ketat yang menanggapi semua kritik dari para penulis Nature, dan mengevaluasi checkpoint prapelatihan yang dirilis Google saja pun akan menjadi materi yang berguna untuk perdebatan ini
Di kesimpulan tulisan itu disebutkan, “Kami mengakui ada hal-hal yang bisa dilakukan lebih baik oleh para penulis ISPD, tetapi kesimpulannya tetap valid. Para penulis Nature tidak membahas fakta bahwa CMP dan AutoDMP memberikan performa yang lebih baik daripada CT dengan waktu eksekusi dan kebutuhan komputasi yang jauh lebih kecil.” Salah satu inti bantahannya adalah bahwa sumber daya yang digunakan untuk perbandingan itu jauh lebih kecil
Satu alasan ini saja tampaknya sudah cukup untuk meragukan validitas kesimpulan studi ISPD; saya penasaran bagaimana Anda melihatnya. Selain itu, komentar ini bernada netral, sementara dalam tulisannya nada yang dipakai jauh lebih keras terhadap para penulis AlphaChip, dengan ungkapan seperti “arrogance”, “disdain”, “hyperbole”, “belittling”, “hostile”, sedangkan wakil presiden Synopsys disebut “excellent”. Saya juga penasaran dari mana perbedaan ini berasal
Jika inferensi memakai sekitar 16 GPU selama 6 jam dan prapelatihan selama 48 jam, itu bukan komputasi yang berlebihan
Di cloud, GPU sekitar 1–2 dolar per jam, jadi inferensi sekitar 100–200 dolar dan prapelatihan sekitar 800–1600 dolar, sementara biaya prapelatihan diamortisasi ke banyak chip. Harga cloud mendekati batas atas, dan sebagian besar lab ilmu komputer punya sumber daya on-premise yang jauh lebih besar dari itu. Di industri, biaya seperti ini benar-benar kecil dibanding sisa biaya proses desain chip, dan biaya lisensi software EDA komersial saja bisa mencapai jutaan dolar
Pada titik ini, rasanya tidak ada alasan untuk tidak langsung memberi Jeff Dean setidaknya tingkat kepercayaan minimal. Rekam jejaknya sulit dibandingkan dengan siapa pun dan ia masih sangat aktif. Apakah ada hal yang cukup untuk menodai reputasinya? Kadang-kadang sang pembawa pesan sendiri membawa bobot
Di sini ia tampaknya berada di pihak orang-orang yang keliru. Pada dasarnya ia adalah pembangun sistem, bukan pakar desain chip atau EDA, dan secara ketat bahkan bukan peneliti machine learning
Sebagian orang mungkin melihatnya terseret oleh penipu muda yang karismatik, dan kini sudah terlalu jauh sehingga sulit mundur. Fokusnya pada proyek ini juga tidak membantu posisinya di Google; tahun lalu semua hal penting berpindah ke Demis, sementara ia hanya tersisa dengan jabatan yang hampir seremonial. Mengingat pencapaiannya, ini cukup disayangkan
Kepercayaan seperti itu masuk akal saat Jeff Dean memberi kuliah pada 2020, 2021, dan 2022. Namun sekarang ia menanggapi skeptisisme komunitas EDA dengan serangan pribadi yang tidak akademis dan rujukan samar bahwa ini digunakan oleh “banyak perusahaan”
Menurut saya kita kini sudah melewati tahap berprasangka baik dan masuk ke wilayah di mana kecurigaan yang cukup besar menjadi mungkin
Saya penasaran mengapa ada begitu banyak emosi dan rasa tidak senang dalam perdebatan ini. Bagaimana perdebatan akademis yang membosankan soal benchmark atau signifikansi berubah menjadi pertengkaran ad hominem?
Ada banyak orang yang bekerja dengan cara implementasi non-AI
Membuat klaim besar tanpa cara untuk mereproduksinya, lalu berlari ke media, dan media akan menelan apa saja
Kalimat “AI merancang AI… bukan, merancang chip” terdengar futuristis bagi lulusan humaniora, dan tampaknya juga bagi para programmer yang seharusnya skeptis terhadap semua “AI”. Mulai dari menerbitkannya di Nature, seluruh proses publikasinya tampak tidak jujur. Mengapa bukan di tempat seperti ISCCC?
Karena uang
Kalau ini terasa tidak menyenangkan, Anda harus melihat para aktivis lingkungan yang menyerang Jeff Dean di Twitter
Masalahnya adalah insentif komersial Big Tech di sekitar AI telah mencemari perairan “akademis yang membosankan”, menghasilkan iklan informasi yang tidak jujur yang menyamar sebagai makalah jurnal atau preprint arXiv[1]
Akibatnya, riset AI modern mengalami krisis reprodusibilitas yang jauh lebih parah daripada ilmu sosial, dengan jauh lebih sedikit alasan pembenar yang sah. Jika Google tidak berbohong, kontroversi ini akan banyak mereda hanya dengan membuka data benchmark agar bisa dilihat pihak independen, tetapi mereka masih menolak: https://cacm.acm.org/news/updates-spark-uproar/ Google tampaknya menganggap kesimpulannya harus diterima begitu saja berdasarkan otoritas. Selain itu, makalah bocoran dari whistleblower internal Satrajit Chatterjee yang dipecat Google pada 2022 menyatakan bahwa keunggulan “30–35%” RePlAce konsisten dengan hasil yang membantah klaim “superhuman” yang waktu itu diajukan Google untuk pendekatan AI desain chip mereka. “Serangan pribadi” terhadap Jeff Dean sepenuhnya pantas, karena inti kritiknya adalah bahwa karakternya tidak jujur dan otoriter. Ia menerbitkan riset yang meragukan dan memecat orang yang menentangnya
[1] Sikap Jeff Dean yang mengejek makalah kritik karena itu adalah makalah konferensi sangat menjijikkan. Sikap yang luar biasa buruk
Menurut tweet Jeff Dean, Cheng dkk. tidak mengikuti prosedur yang diperlukan untuk mereproduksi pekerjaan para peneliti Google
Secara khusus, ia mengatakan, “para penulis sama sekali tidak melakukan pre-training, padahal pre-training disebutkan 37 kali dalam makalah Nature; akibatnya, metode berbasis training kehilangan kemampuannya untuk belajar dari desain chip lain.” Namun, repositori Circuit Training Google[1] secara eksplisit menyatakan bahwa “hasil training dari awal serupa atau lebih baik dibandingkan hasil makalah yang melakukan fine-tuning pada model pre-trained.” Mungkin saya salah paham, tetapi mana yang benar? Apakah hasilnya gagal karena tidak melakukan pre-training, atau mereka mencoba reproduksi yang adil dengan mengikuti “prosedur” yang tertulis di repositori asli? Melihat bahwa grup UCSD harus melakukan reverse engineering terhadap beberapa tahap, tampaknya hasil makalah itu sendiri tidak dapat direproduksi
[1]: https://github.com/google-research/circuit_training/blob/mai...
Makalah Markov juga menautkan makalah dari kelompok penulis Google yang berbeda, dan di sana pun manfaat pre-training tampak sangat kecil
Selain itu, dalam situasi dengan jumlah benchmark yang sedikit, menggunakan model pre-training Google yang asal-usulnya tidak diketahui bisa justru kontraproduktif. Kemungkinan besar Google melatihnya dengan semua benchmark yang tersedia sehingga model tersebut mengeluarkan kembali solusi optimal dari tool komersial
“Training dari awal” bisa saja berarti mencampurkan percobaan desain baru dengan desain-desain masa lalu
Kalau begitu tidak ada kontradiksi. Bedanya adalah antara melakukan pre-training dengan desain lama lalu fine-tuning dengan desain baru, versus melatih dari awal dengan mencampurkan semua data sepanjang periode penuh. Fine-tuning dapat menyebabkan catastrophic forgetting, dan keduanya bisa berkinerja lebih baik daripada sama sekali tidak menyertakan desain lama
Repositori Circuit Training lebih mirip menunjukkan contoh sederhana. Repositori open-source sering menjelaskan contoh sederhana untuk pengujian atau validasi konfigurasi, dan itu bukan berarti secara umum itulah cara untuk mendapatkan hasil optimal
Kebingungan mungkin berasal dari pernyataan dalam contoh itu bahwa hasilnya mirip dengan hasil pre-training di makalah. Namun ini jelas bukan penolakan terhadap pre-training secara keseluruhan. Jika Cheng dkk. benar-benar merasa hal itu ambigu, mereka seharusnya menghubungi corresponding author. Jika mereka merasa harus “merekayasa balik” sebagian repositori, itu juga seharusnya mereka tanyakan
Chatterjee, yang dalam artikel yang ditautkan digambarkan seperti antagonis, tampaknya kini sedang menggugat Google. Ia tampaknya berpendapat bahwa alasan dirinya dipecat adalah karena ia menunjukkan bahwa atasannya, Jeff Dean, tetap mempresentasikan klaim palsu meski mengetahuinya.
Kalimat “Untuk memperjelas, tidak ada bukti untuk percaya bahwa RL lebih baik daripada state-of-the-art akademik atau placer makro komersial terkuat. Perbandingan terhadap yang terakhir begitu buruk sehingga dalam banyak kasus alat komersial bahkan tidak berjalan karena masalah instalasi” disebut sebagai tangkapan layar presentasi internal Jeff Dean. https://regmedia.co.uk/2023/03/26/satrajit_vs_google.pdf Bagi orang luar, sangat sulit menilai apakah Chatterjee adalah perekrutan buruk dan mahal yang menekan hasil bagus rekan-rekannya, atau justru karyawan yang sangat bernilai yang berusaha mencegah presentasi palsu.
Benar-benar banyak waktu yang terbuang.
Ia bahkan melakukan riset internal bersama Markov, tetapi para penulis AlphaChip menjelaskannya begini. Pada 2022, komite independen Google meninjaunya dan menilai bahwa “klaim dan kesimpulan dalam draf tidak didukung secara ilmiah oleh eksperimen,” serta bahwa “hasil dataset asli [AlphaChip] berhasil direproduksi secara independen, sehingga hasil RL [Markov et al.] dipertanyakan.” Para penulis mengatakan mereka memberi komite sebuah skrip satu baris yang menghasilkan hasil RL yang jauh lebih baik daripada yang dilaporkan Markov dkk., dan hasil ini bahkan lebih baik daripada baseline simulated annealing mereka yang “lebih kuat.” Mereka mengatakan hingga kini masih belum tahu bagaimana Markov dan para rekan penulisnya menghasilkan angka-angka dalam makalah tersebut.
(https://arxiv.org/pdf/2411.10053)
Merekrut orang yang akan melakukan penipuan atau manipulasi di akademia, keuangan, atau bidang lain memang merupakan masalah besar.
Cara terbaik, mungkin satu-satunya cara, untuk menguranginya adalah insentif dan kontrol internal, serta budaya. Jika di setiap siklus Anda menuntut peningkatan tanpa henti beberapa persen, lalu mempromosikan orang yang terus membawa hasil tanpa terlebih dahulu memastikan apakah hasil itu benar-benar ada, pada akhirnya hal yang sama akan terjadi terlepas dari skala. Itu bisa terjadi di tim kecil, departemen, perusahaan, hedge fund yang memiliki banyak perusahaan seperti itu, fund of funds, hingga pemerintah federal. Cepat atau lambat, kepemimpinan akan cukup banyak disusupi orang-orang tanpa hati nurani. Skandal publikasi beruntun di akademia dan tak terhitung banyaknya kasus di sektor keuangan adalah contohnya. Holmes dan SBF memang di penjara, tetapi orang-orang yang mereka danai dan kelompok serupa masih berada di puncak pengaruh, membawa ideologi yang sama, bahkan kini memiliki pengacara yang lebih baik. Ada pepatah lama, “ikan membusuk dari kepala.” Jika melihat segala macam hal mencurigakan dan skandal tanpa henti dari para pemimpin simbolis industri STEM lalu berkata “bagus, mereka mengalahkan sistem,” sulit mengharapkan apa pun selain tatanan lama yang jujur dan adil diserang dari segala arah. Pada akhirnya kita pun memilih dengan kaki untuk ideal semireligius bahwa “kekuatan adalah kebenaran,” dan saya juga pernah menjadi bagian darinya sampai berhenti karena muak. Namanya bermacam-macam: Objectivism, Effective Altruism, Capitalism, tetapi itu bahkan bukan kapitalisme sejati. Tidak mengherankan kalau semuanya menjadi lengket dan kotor. Saya tidak begitu tahu jawabannya hari ini. Mungkin bekerja di perusahaan yang lebih tidak buruk, mengungkap penyalahgunaan setidaknya secara anonim, serta mendengarkan dan menelaah dengan cermat pernyataan para pemimpin dalam wawancara. Saya juga ingin mendengar usulan lain.
Saya paham mengapa ada tekanan agar Jeff menjawab ini. Namanya tercantum di hampir semua keluaran riset “Google Brain”.
Namun gaya “itu bisa direproduksi karena mereka gagal mereproduksinya akibat mereka bodoh” bukanlah sanggahan, melainkan perundungan. Para pengkritik tampaknya menyentuh saraf sensitif, dan terdengar seolah tidak ada cara yang baik untuk membantah masalah reprodusibilitas yang diungkap risetnya.
Ia tidak membuat klaim seperti itu dalam tweet yang ditautkan. Klaimnya adalah “mereka tidak bisa mereproduksinya karena tidak mengikuti prosedur,” dan apa pun motivasi di balik klaim itu, klaim tersebut tampak cukup masuk akal.
Jika mereka tidak mengikuti prosedur reproduksi, misalnya pre-training atau jumlah komputasi yang memadai, lalu gagal, saya tidak melihat apa masalahnya menunjukkan cacat dalam upaya “reproduksi” itu.
Di mana itu tertulis? Dean di tweet-nya menyebutkan langkah-langkah spesifik yang dilewatkan para penulis.
Untungnya ia tidak mengatakan hal seperti itu.
Tweet itu hanya mengatakan bahwa upaya reproduksi tidak benar-benar mengikuti metodologi aslinya. Tidak ada pernyataan bahwa para penulis upaya reproduksi itu “bodoh” atau semacamnya; itu hanya karangan. Logika yang jelas keliru bahwa “karena mereka tidak bisa mereproduksinya, maka itu bisa direproduksi” juga sepenuhnya hasil rekayasa.
Lucu sekali mengklaim ada bias karena pemberi kerja pihak pengkritik, seolah bekerja di Google tidak punya konflik kepentingan.
Bukankah Google adalah perusahaan yang mati-matian melebih-lebihkan segala macam pengembangan AI bergaya “kami juga bisa” demi mengerek harga saham? Jeff tampaknya sudah terlalu banyak minum Kool-Aid sampai lupa seperti apa air itu.
Bukti utama Google pada akhirnya adalah membuat chip yang lebih baik daripada pesaing. Untuk saat ini, mereka belum melakukannya.
Kritik “Anda tidak memakai sumber daya komputasi yang cukup saat mereproduksi metode kami” sekarang terasa agak lucu. Tentu saja begitu, kalian kan Google.
Kedengarannya seperti mengatakan bahwa kalau tidak memiliki cloud sendiri, Anda tidak bisa meninjau metodologi kami. Saya tidak terkejut jika benar bahwa komputasi yang lebih banyak dan pre-training yang lebih banyak itu berguna, tetapi itu membuat verifikasi menjadi sulit. Ada juga sisi kebalikan yang menarik. Google memiliki sumber daya komputasi yang sangat besar, tetapi Synopsys memiliki data yang sangat banyak untuk dilatih. Tentu saja syarat yang sangat besar adalah apakah boleh melatih model menggunakan kekayaan intelektual pelanggan.
Para perancang chip menjalankan alat EDA secara on-premises. Bagaimana perusahaan EDA bisa mengakses data pelanggan? Untuk tujuan debugging di bawah NDA mungkin bisa, tetapi itu bukan berarti mereka boleh melatih model dengan kekayaan intelektual pelanggan.
1 komentar
Opini Hacker News
Saya menambahkan bantahan Google dan lampiran yang membahas algoritme AlphaChip secara umum di bagian paling bawah tulisan tentang AlphaChip (https://vighneshiyer.com/misc/ml-for-placement/)
Singkatnya, saya menilai para penulis Nature memang menyampaikan beberapa kritik yang valid terhadap metodologi pelatihan para penulis ISPD. Namun AlphaChip tetap kurang kompetitif dibanding floorplanner otomatis komersial dan AutoDMP karena biaya komputasi dan waktu eksekusinya terlalu besar. Meski begitu, para penulis ISPD perlu menerbitkan studi yang lebih ketat yang menanggapi semua kritik dari para penulis Nature, dan mengevaluasi checkpoint prapelatihan yang dirilis Google saja pun akan menjadi materi yang berguna untuk perdebatan ini
Satu alasan ini saja tampaknya sudah cukup untuk meragukan validitas kesimpulan studi ISPD; saya penasaran bagaimana Anda melihatnya. Selain itu, komentar ini bernada netral, sementara dalam tulisannya nada yang dipakai jauh lebih keras terhadap para penulis AlphaChip, dengan ungkapan seperti “arrogance”, “disdain”, “hyperbole”, “belittling”, “hostile”, sedangkan wakil presiden Synopsys disebut “excellent”. Saya juga penasaran dari mana perbedaan ini berasal
Di cloud, GPU sekitar 1–2 dolar per jam, jadi inferensi sekitar 100–200 dolar dan prapelatihan sekitar 800–1600 dolar, sementara biaya prapelatihan diamortisasi ke banyak chip. Harga cloud mendekati batas atas, dan sebagian besar lab ilmu komputer punya sumber daya on-premise yang jauh lebih besar dari itu. Di industri, biaya seperti ini benar-benar kecil dibanding sisa biaya proses desain chip, dan biaya lisensi software EDA komersial saja bisa mencapai jutaan dolar
Pada titik ini, rasanya tidak ada alasan untuk tidak langsung memberi Jeff Dean setidaknya tingkat kepercayaan minimal. Rekam jejaknya sulit dibandingkan dengan siapa pun dan ia masih sangat aktif. Apakah ada hal yang cukup untuk menodai reputasinya? Kadang-kadang sang pembawa pesan sendiri membawa bobot
Sebagian orang mungkin melihatnya terseret oleh penipu muda yang karismatik, dan kini sudah terlalu jauh sehingga sulit mundur. Fokusnya pada proyek ini juga tidak membantu posisinya di Google; tahun lalu semua hal penting berpindah ke Demis, sementara ia hanya tersisa dengan jabatan yang hampir seremonial. Mengingat pencapaiannya, ini cukup disayangkan
Menurut saya kita kini sudah melewati tahap berprasangka baik dan masuk ke wilayah di mana kecurigaan yang cukup besar menjadi mungkin
Saya penasaran mengapa ada begitu banyak emosi dan rasa tidak senang dalam perdebatan ini. Bagaimana perdebatan akademis yang membosankan soal benchmark atau signifikansi berubah menjadi pertengkaran ad hominem?
Kalimat “AI merancang AI… bukan, merancang chip” terdengar futuristis bagi lulusan humaniora, dan tampaknya juga bagi para programmer yang seharusnya skeptis terhadap semua “AI”. Mulai dari menerbitkannya di Nature, seluruh proses publikasinya tampak tidak jujur. Mengapa bukan di tempat seperti ISCCC?
Akibatnya, riset AI modern mengalami krisis reprodusibilitas yang jauh lebih parah daripada ilmu sosial, dengan jauh lebih sedikit alasan pembenar yang sah. Jika Google tidak berbohong, kontroversi ini akan banyak mereda hanya dengan membuka data benchmark agar bisa dilihat pihak independen, tetapi mereka masih menolak: https://cacm.acm.org/news/updates-spark-uproar/ Google tampaknya menganggap kesimpulannya harus diterima begitu saja berdasarkan otoritas. Selain itu, makalah bocoran dari whistleblower internal Satrajit Chatterjee yang dipecat Google pada 2022 menyatakan bahwa keunggulan “30–35%” RePlAce konsisten dengan hasil yang membantah klaim “superhuman” yang waktu itu diajukan Google untuk pendekatan AI desain chip mereka. “Serangan pribadi” terhadap Jeff Dean sepenuhnya pantas, karena inti kritiknya adalah bahwa karakternya tidak jujur dan otoriter. Ia menerbitkan riset yang meragukan dan memecat orang yang menentangnya
[1] Sikap Jeff Dean yang mengejek makalah kritik karena itu adalah makalah konferensi sangat menjijikkan. Sikap yang luar biasa buruk
Menurut tweet Jeff Dean, Cheng dkk. tidak mengikuti prosedur yang diperlukan untuk mereproduksi pekerjaan para peneliti Google
Secara khusus, ia mengatakan, “para penulis sama sekali tidak melakukan pre-training, padahal pre-training disebutkan 37 kali dalam makalah Nature; akibatnya, metode berbasis training kehilangan kemampuannya untuk belajar dari desain chip lain.” Namun, repositori Circuit Training Google[1] secara eksplisit menyatakan bahwa “hasil training dari awal serupa atau lebih baik dibandingkan hasil makalah yang melakukan fine-tuning pada model pre-trained.” Mungkin saya salah paham, tetapi mana yang benar? Apakah hasilnya gagal karena tidak melakukan pre-training, atau mereka mencoba reproduksi yang adil dengan mengikuti “prosedur” yang tertulis di repositori asli? Melihat bahwa grup UCSD harus melakukan reverse engineering terhadap beberapa tahap, tampaknya hasil makalah itu sendiri tidak dapat direproduksi
[1]: https://github.com/google-research/circuit_training/blob/mai...
Selain itu, dalam situasi dengan jumlah benchmark yang sedikit, menggunakan model pre-training Google yang asal-usulnya tidak diketahui bisa justru kontraproduktif. Kemungkinan besar Google melatihnya dengan semua benchmark yang tersedia sehingga model tersebut mengeluarkan kembali solusi optimal dari tool komersial
Kalau begitu tidak ada kontradiksi. Bedanya adalah antara melakukan pre-training dengan desain lama lalu fine-tuning dengan desain baru, versus melatih dari awal dengan mencampurkan semua data sepanjang periode penuh. Fine-tuning dapat menyebabkan catastrophic forgetting, dan keduanya bisa berkinerja lebih baik daripada sama sekali tidak menyertakan desain lama
Kebingungan mungkin berasal dari pernyataan dalam contoh itu bahwa hasilnya mirip dengan hasil pre-training di makalah. Namun ini jelas bukan penolakan terhadap pre-training secara keseluruhan. Jika Cheng dkk. benar-benar merasa hal itu ambigu, mereka seharusnya menghubungi corresponding author. Jika mereka merasa harus “merekayasa balik” sebagian repositori, itu juga seharusnya mereka tanyakan
Tulisan terkait. Ada yang lain?
AI Alone Isn't Ready for Chip Design - https://news.ycombinator.com/item?id=42207373 - November 2024, 2 komentar
That Chip Has Sailed: Critique of Unfounded Skepticism Around AI for Chip Design - https://news.ycombinator.com/item?id=42172967 - November 2024, 9 komentar
Reevaluating Google's Reinforcement Learning for IC Macro Placement (AlphaChip) - https://news.ycombinator.com/item?id=42042046 - November 2024, 1 komentar
How AlphaChip transformed computer chip design - https://news.ycombinator.com/item?id=41672110 - September 2024, 194 komentar
Tension Inside Google over a Fired AI Researcher’s Conduct - https://news.ycombinator.com/item?id=31576301 - Mei 2022, 23 komentar
Google is using AI to design chips that will accelerate AI - https://news.ycombinator.com/item?id=22717983 - Maret 2020, 1 komentar
Konteks jawaban Jeff Dean ada di sini
https://news.ycombinator.com/item?id=41673769
https://news.ycombinator.com/item?id=41673808
Betapa konyolnya melihat betapa mahalnya satu perekrutan yang salah: https://www.wired.com/story/google-brain-ai-researcher-fired...
Kalimat “Untuk memperjelas, tidak ada bukti untuk percaya bahwa RL lebih baik daripada state-of-the-art akademik atau placer makro komersial terkuat. Perbandingan terhadap yang terakhir begitu buruk sehingga dalam banyak kasus alat komersial bahkan tidak berjalan karena masalah instalasi” disebut sebagai tangkapan layar presentasi internal Jeff Dean. https://regmedia.co.uk/2023/03/26/satrajit_vs_google.pdf Bagi orang luar, sangat sulit menilai apakah Chatterjee adalah perekrutan buruk dan mahal yang menekan hasil bagus rekan-rekannya, atau justru karyawan yang sangat bernilai yang berusaha mencegah presentasi palsu.
Ia bahkan melakukan riset internal bersama Markov, tetapi para penulis AlphaChip menjelaskannya begini. Pada 2022, komite independen Google meninjaunya dan menilai bahwa “klaim dan kesimpulan dalam draf tidak didukung secara ilmiah oleh eksperimen,” serta bahwa “hasil dataset asli [AlphaChip] berhasil direproduksi secara independen, sehingga hasil RL [Markov et al.] dipertanyakan.” Para penulis mengatakan mereka memberi komite sebuah skrip satu baris yang menghasilkan hasil RL yang jauh lebih baik daripada yang dilaporkan Markov dkk., dan hasil ini bahkan lebih baik daripada baseline simulated annealing mereka yang “lebih kuat.” Mereka mengatakan hingga kini masih belum tahu bagaimana Markov dan para rekan penulisnya menghasilkan angka-angka dalam makalah tersebut.
(https://arxiv.org/pdf/2411.10053)
Cara terbaik, mungkin satu-satunya cara, untuk menguranginya adalah insentif dan kontrol internal, serta budaya. Jika di setiap siklus Anda menuntut peningkatan tanpa henti beberapa persen, lalu mempromosikan orang yang terus membawa hasil tanpa terlebih dahulu memastikan apakah hasil itu benar-benar ada, pada akhirnya hal yang sama akan terjadi terlepas dari skala. Itu bisa terjadi di tim kecil, departemen, perusahaan, hedge fund yang memiliki banyak perusahaan seperti itu, fund of funds, hingga pemerintah federal. Cepat atau lambat, kepemimpinan akan cukup banyak disusupi orang-orang tanpa hati nurani. Skandal publikasi beruntun di akademia dan tak terhitung banyaknya kasus di sektor keuangan adalah contohnya. Holmes dan SBF memang di penjara, tetapi orang-orang yang mereka danai dan kelompok serupa masih berada di puncak pengaruh, membawa ideologi yang sama, bahkan kini memiliki pengacara yang lebih baik. Ada pepatah lama, “ikan membusuk dari kepala.” Jika melihat segala macam hal mencurigakan dan skandal tanpa henti dari para pemimpin simbolis industri STEM lalu berkata “bagus, mereka mengalahkan sistem,” sulit mengharapkan apa pun selain tatanan lama yang jujur dan adil diserang dari segala arah. Pada akhirnya kita pun memilih dengan kaki untuk ideal semireligius bahwa “kekuatan adalah kebenaran,” dan saya juga pernah menjadi bagian darinya sampai berhenti karena muak. Namanya bermacam-macam: Objectivism, Effective Altruism, Capitalism, tetapi itu bahkan bukan kapitalisme sejati. Tidak mengherankan kalau semuanya menjadi lengket dan kotor. Saya tidak begitu tahu jawabannya hari ini. Mungkin bekerja di perusahaan yang lebih tidak buruk, mengungkap penyalahgunaan setidaknya secara anonim, serta mendengarkan dan menelaah dengan cermat pernyataan para pemimpin dalam wawancara. Saya juga ingin mendengar usulan lain.
Saya paham mengapa ada tekanan agar Jeff menjawab ini. Namanya tercantum di hampir semua keluaran riset “Google Brain”.
Namun gaya “itu bisa direproduksi karena mereka gagal mereproduksinya akibat mereka bodoh” bukanlah sanggahan, melainkan perundungan. Para pengkritik tampaknya menyentuh saraf sensitif, dan terdengar seolah tidak ada cara yang baik untuk membantah masalah reprodusibilitas yang diungkap risetnya.
Tweet itu hanya mengatakan bahwa upaya reproduksi tidak benar-benar mengikuti metodologi aslinya. Tidak ada pernyataan bahwa para penulis upaya reproduksi itu “bodoh” atau semacamnya; itu hanya karangan. Logika yang jelas keliru bahwa “karena mereka tidak bisa mereproduksinya, maka itu bisa direproduksi” juga sepenuhnya hasil rekayasa.
Bukankah Google adalah perusahaan yang mati-matian melebih-lebihkan segala macam pengembangan AI bergaya “kami juga bisa” demi mengerek harga saham? Jeff tampaknya sudah terlalu banyak minum Kool-Aid sampai lupa seperti apa air itu.
Bukti utama Google pada akhirnya adalah membuat chip yang lebih baik daripada pesaing. Untuk saat ini, mereka belum melakukannya.
Kritik “Anda tidak memakai sumber daya komputasi yang cukup saat mereproduksi metode kami” sekarang terasa agak lucu. Tentu saja begitu, kalian kan Google.
Kedengarannya seperti mengatakan bahwa kalau tidak memiliki cloud sendiri, Anda tidak bisa meninjau metodologi kami. Saya tidak terkejut jika benar bahwa komputasi yang lebih banyak dan pre-training yang lebih banyak itu berguna, tetapi itu membuat verifikasi menjadi sulit. Ada juga sisi kebalikan yang menarik. Google memiliki sumber daya komputasi yang sangat besar, tetapi Synopsys memiliki data yang sangat banyak untuk dilatih. Tentu saja syarat yang sangat besar adalah apakah boleh melatih model menggunakan kekayaan intelektual pelanggan.