Baru-baru ini mengajukan diri ke batch YC dengan ide untuk membuat AI bertindak proaktif alih-alih sekadar bereaksi, dan sebelumnya merilis makalah tentang recursive self-improvement yang disesuaikan dengan data Epoch AI
Menghubungi seorang profesor universitas di Inggris yang meneliti hal serupa, lalu berdiskusi sekitar satu jam tentang asumsi dan metode yang berbeda, serta hasil yang saling tumpang tindih
Bahkan mahasiswa S1 fisika pun bisa terhubung dengan orang yang biasanya sulit ditemui jika melakukan riset independen dan berbicara dengan para ahli, jadi riset menjadi sarana membangun jaringan yang baik bagi anak muda yang terjun ke bidang apa pun
Itu juga alasan laboratorium besar berhenti memublikasikan makalah. Publikasi paling bernilai saat tidak ada cara lain untuk menarik perhatian orang asing yang cerdas, tetapi ketika sudah berada di tahap bisa merekrut siapa saja dan semua orang mau menerima telepon, yang tersisa terutama hanya efek memberi tahu pesaing cara yang berhasil
Hal seperti ini terjadi setiap kali sains berubah menjadi industri. Para kimiawan juga dulu bebas memublikasikan, tetapi ketika pewarna mulai menghasilkan uang, riset menarik berpindah ke laboratorium perusahaan dan tidak lagi dipublikasikan
Sayang sekali LinkedIn seharusnya menjadi platform koneksi seperti ini bagi para ahli, tetapi sekarang malah penuh dengan umpan pendorong engagement dan orang yang berpura-pura jadi entrepreneur
Entah dimulai dari riset atau tidak, menampilkan diri dan berbicara dengan orang lain adalah hal yang paling mendasar bagi karier dan pertumbuhan pribadi
Ingin mendengar lebih jelas apa yang dimaksud dengan AI proaktif di sini
Recursive self-improvement tampak seperti awal dari kiamat
Pernah benar-benar bekerja di dua startup yang melakukan riset dasar pertama di dunia. Perusahaan pertama berjuang selama 3 tahun untuk memasukkan hasil baru ke jurnal tingkat atas, lalu akhirnya merilisnya sebagai preprint dan menyerah pada jurnal
Perusahaan kedua tempat bekerja sekarang, karena pengalaman itu, tidak menerbitkan apa pun dan juga ingin menghindari situasi di mana OpenAI atau Anthropic menyalin hasilnya lalu membuat 6 bulan kerja jadi sia-sia. Makalah hanya diberikan bersama materi penjelasan kepada investor
Hampir tidak ada keuntungan bagi startup dari memublikasikan riset frontier, dan juga sulit dipertahankan. Bagi perusahaan yang tidak menanggung risiko, itu mungkin bisa jadi ajang pamer, tetapi bagi startup itu masalah
Bukankah tujuan memublikasikan riset memang agar orang lain bisa mereplikasinya?
Jika bukan akademisi yang butuh jabatan tetap atau pendanaan riset, jurnal bisa dilewati dan makalah dipublikasikan langsung. Intinya adalah berbagi riset
Ingin tahu apakah ini fenomena startup AI memublikasikan temuan di blog alih-alih jurnal seperti yang disebut teks utama. Jurnal terlalu lambat, kaku, dan eksploitatif, sehingga mungkin sudah tidak berguna lagi di industri ini
Untuk mengirim makalah ke konferensi ilmu komputer papan atas, orang yang tidak menempuh program doktor di bidang sempit sulit mengakses bahasa orang dalam dan formalisme yang dituntut
Ironisnya, LLM cukup pandai dalam hal ini, sehingga makalah yang benar-benar bagus dari orang luar jadi lebih kecil kemungkinannya mendapat penilaian lebih baik daripada makalah buruk buatan AI
Dengan blogifikasi riset AI, berbagai klaim dan istilah mulai muncul dan menyebar seperti di media sosial, dan ini tidak sehat
Dalam lingkungan yang tergamifikasi, hampir apa pun bisa didukung hanya dengan menempelkan angka dari berbagai eksperimen, dan kita cepat menuju tahap di mana hampir tidak ada yang mempertanyakan apakah itu benar-benar bermakna. Sampah seperti ini menjadi data pelatihan model berikutnya, lalu model itu kembali menghasilkan model dan blog atau makalah, menciptakan lingkaran setan yang mirip melepaskan rayap ke perpustakaan
Tahap itu sebenarnya sudah tercapai 10 tahun lalu, mungkin bahkan jauh sebelumnya. Sekarang hanya ada jauh lebih banyak orang yang ikut bermain tanpa pelatihan sosial yang dulu membuatnya masih bisa ditoleransi
Meski begitu, ini tidak sepenuhnya buruk; masa ketika peserta baru terus berdatangan memang menjengkelkan, tetapi setelah mereka pergi, kadang justru dirindukan
Bertanya-tanya apakah pada akhirnya satu-satunya perbedaan dari publikasi riset tradisional hanyalah kecepatan
Tulisan itu menangani perusahaan-perusahaan yang muncul dalam makalah secara samar. Dalam total sitasi kumulatif, OpenAI yang tertinggi, diikuti MEGVII, Hugging Face, Waymo, Momenta, Preferred Networks, Anthropic, Owkin, Databricks, dan Aibee
Disebutkan bahwa yang dihitung adalah sitasi, bukan jumlah publikasi, dan meskipun tidak lengkap, itu digunakan sebagai indikator proksi pentingnya. Perusahaan seperti Google dikecualikan karena bukan startup unicorn
Saya paham peneliti harus menerbitkan makalah untuk memenuhi target kinerja dan mempertahankan posisi. Kecuali OpenAI atau Anthropic membayar cukup besar hingga orang rela meninggalkan karier risetnya, mereka akan terus menerbitkan, jadi sulit melihat ini sebagai itikad baik perusahaan
Google memang membuka banyak riset, dan saya masih penasaran kenapa mereka membuka riset Transformer dan Attention khususnya. Mungkin awalnya untuk terjemahan, atau bahkan para penelitinya sendiri belum menyadari potensi penuhnya
Saya kira Databricks adalah perusahaan hosting Spark, jadi penasaran kenapa diklasifikasikan sebagai startup AI papan atas
Makalah itu tampaknya sebenarnya tidak mengungkap perusahaan mana yang tidak memublikasikan makalah. OpenAI, Anthropic, dan Hugging Face justru disebut sebagai perusahaan yang menerbitkan, jadi ketika melihat “startup AI papan atas”, jangan langsung membayangkan OpenAI dan Anthropic
Makalah itu tidak benar-benar menjawab pertanyaan yang langsung ingin diketahui semua orang setelah membaca judulnya. OpenAI memang nomor satu dalam sitasi, tetapi sitasi menumpuk pada makalah lama yang berpengaruh, dan ada masa ketika OpenAI lebih terbuka
Bahkan setelah perubahan arah pasca-Altman, tidak jelas apakah mereka masih berkontribusi sekarang, dan karena makalah setelah 2025 dikecualikan secara eksplisit, sulit mengetahui aksesibilitas riset frontier terbaru yang justru menjadi sasaran perhatian. Repositorinya ada di https://github.com/q5loisel/unicorn-AI-startup-publications
Menjadi perusahaan AI tidak otomatis berarti perusahaan riset. Sebagian besar startup yang muncul dalam beberapa tahun terakhir menggunakan model buatan pihak lain untuk tujuan komersial, jadi tidak ada alasan berharap ada makalah ilmiah
Justru jika 50% startup berkontribusi pada riset terbuka, itu hasil yang jauh lebih baik dari perkiraan
Kita mendanai sains dengan dana publik karena tidak bisa hanya mengandalkan insentif pasar bebas. Hampir tidak ada alasan bagi perusahaan untuk berbagi informasi dengan pesaing
Jika nama perusahaan terbesar kedua adalah OpenAI, orang memang cenderung mengharapkan ada publikasi makalah
Makalah yang bagus yang menganalisis industri secara lebih luas juga membahas mengapa riset sebelumnya tampak menunjukkan bahwa semakin sulit menemukan ide bagus
Berbeda dengan fenomena di mana laju pertumbuhan output mandek meski jumlah peneliti di AS meningkat, pelacakan paten perusahaan AS selama 45 tahun menunjukkan bahwa rata-rata jumlah paten per input R&D meningkat, dan elastisitas paten terhadap input juga bertahan atau naik. Ada hubungan positif yang konsisten antara peningkatan paten sebagai ide dan produktivitas tenaga kerja, tetapi laju pertumbuhan perusahaan menurun setelah kenaikan ide dikendalikan. Artinya, kesimpulannya adalah bahwa peran aktivitas inovasi dalam menopang pertumbuhan tidak melemah selama 40 tahun terakhir https://faculty.tuck.dartmouth.edu/uploads/teresaFort/files/...
Ironis bahwa jika Google tidak merilis Attention Is All You Need, tidak satu pun startup AI saat ini akan ada
Melihat https://research.google/pubs/distilling-the-knowledge-in-a-n... dari 2015, mungkin ironi itu sekarang sedang terungkap
Google mungkin menganggap perlombaan senjata model frontier yang independen tidak rasional secara ekonomi, tetapi tetap menilai kemampuan itu penting secara strategis. Bisa jadi strategi jangka panjangnya adalah membuat model terbesar hanya secukupnya untuk dipakai sebagai pabrik penghasil kapabilitas, lalu mengubah kecerdasan itu menjadi jauh lebih banyak model murah untuk tujuan spesifik
Jika Google sudah mengetahui ini, alasan mereka tidak menjadikannya senjata rahasia sejak awal mungkin karena mereka memprediksi perlombaan senjata dan juga tahu cara meraih keuntungan di proses itu. Mengingat makalah distillation terbit lebih dulu daripada makalah Transformer, ini mungkin bukan ironi melainkan hasil yang wajar
Bahkan Google sendiri tidak akan berada di posisinya sekarang tanpa riset terbuka. Seperti ilmu radiasi sebelum Perang Dunia II, hasil dipublikasikan secara bebas sebelum potensinya mengubah dunia diketahui, tetapi setelah menjadi perhatian pemerintah, bahkan peneliti yang tidak terkait senjata pun mulai menyembunyikan hasilnya
Para penulis makalah itu sekarang semuanya berada di perusahaan AI, bukan Google
Makalah itu juga dibangun di atas berbagai ide yang sebenarnya sudah sangat dekat. Ini penemuan hebat, tetapi seperti banyak penemuan lain, ia berdiri di atas bahu para raksasa
Seluruh industri AI dibangun di atas riset terbuka, tetapi gelombang saat ini bertentangan dengan itu dan tampaknya digerakkan oleh keserakahan dengan dalih perlombaan senjata
Diperlukan kebijakan ESG baru yang mengakui peran riset terbuka, tetapi dalam situasi suram saat ini, ESG dan norma lain tampaknya sama-sama tersingkir
Sebagian besar nilai industri komputasi tercipta karena orang-orang cerdas bekerja sama dan memilih mengungkapkan metodenya alih-alih memonopoli nilai dari penemuan pertama. Ini adalah fenomena yang mendahului ledakan AI saat ini sekitar setengah abad
Namun, bagi saya justru kebalikannya dari keserakahan. Jika ingin berbagi cara kerja, hasil pemecahan masalah, dan materi pembelajaran, kita bisa langsung mempublikasikannya sendiri, tetapi pekerjaan yang dilakukan dalam kerangka institusi yang disetujui akademia itu melelahkan dan memecah fokus
Di sini, “publikasi riset” bukan berarti mengunggah halaman HTML dan source code, melainkan prosedur komunikasi yang sangat khusus dan politis. Itu hanya bermakna pada tahap karier ketika kompetisi reputasi diperlukan, dan dalam beberapa hal lebih mirip cargo cult yang meniru proses ilmiah yang sebenarnya
Ada banyak riset bagus yang didanai publik, tetapi Attention Is All You Need dan banyak makalah kunci OpenAI dibuat dengan pendanaan swasta, dan dalam riset pun OpenAI berada di peringkat pertama dalam jumlah sitasi. Asumsi tentang riset terbuka mungkin tidak sesuai dengan buktinya
Ada perusahaan yang tetap membagikan riset, tetapi umumnya bukan perusahaan AS, misalnya https://arxiv.org/abs/2607.24653. DeepMind, Nvidia, Thinking Machines, dan lainnya adalah pengecualian
Proses publikasi peer review merepotkan, tidak memaksimalkan efisiensi penyampaian pengetahuan, dan lebih mirip sertifikasi kredensial serta otoritas daripada komunikasi, sementara manfaat reputasinya juga lebih banyak mengalir ke individu daripada perusahaan
Publikasi bergaya blog memang penuh sampah yang belum terverifikasi, tetapi riset peer review juga banyak berisi hasil berkualitas rendah, sehingga rasio signal-to-noise tetap buruk selama puluhan tahun terlepas dari sumber pengetahuannya
Jika riset bagus dipublikasikan, itu bisa dimanfaatkan pesaing dengan berbagai cara dan hak kekayaan intelektual pun pada praktiknya hampir mustahil ditegakkan, sehingga menjadi departemen biaya murni. Di beberapa bidang ilmu komputer, state of the art selama puluhan tahun terkubur sebagai rahasia dagang sehingga literatur akademik tertinggal sampai terasa memalukan
Publikasi memakan waktu dan uang, tetapi peneliti ingin memecahkan masalah yang menarik dan perusahaan ingin memaksimalkan pemanfaatan riset, jadi publikasi tidak membantu salah satu pihak. Banyak riset dasar juga ditujukan untuk memecahkan masalah, bukan menghasilkan makalah, dan setelah masalah itu selesai mereka langsung beralih ke masalah berikutnya
Dalam riset frontier, pertimbangan keamanan nasional juga selalu mengikuti. Semua ini adalah hasil dari struktur insentif, dan sebagian besar riset dasar tidak lagi terjadi di akademia. Saya sendiri menikmati program riset tertutup, dan bahkan riset dasar menarik yang saya lakukan sendiri tidak layak dipublikasikan, karena tujuannya bukan reputasi melainkan masalah yang harus diselesaikan
1 komentar
Komentar Hacker News
Baru-baru ini mengajukan diri ke batch YC dengan ide untuk membuat AI bertindak proaktif alih-alih sekadar bereaksi, dan sebelumnya merilis makalah tentang recursive self-improvement yang disesuaikan dengan data Epoch AI
Menghubungi seorang profesor universitas di Inggris yang meneliti hal serupa, lalu berdiskusi sekitar satu jam tentang asumsi dan metode yang berbeda, serta hasil yang saling tumpang tindih
Bahkan mahasiswa S1 fisika pun bisa terhubung dengan orang yang biasanya sulit ditemui jika melakukan riset independen dan berbicara dengan para ahli, jadi riset menjadi sarana membangun jaringan yang baik bagi anak muda yang terjun ke bidang apa pun
Hal seperti ini terjadi setiap kali sains berubah menjadi industri. Para kimiawan juga dulu bebas memublikasikan, tetapi ketika pewarna mulai menghasilkan uang, riset menarik berpindah ke laboratorium perusahaan dan tidak lagi dipublikasikan
Pernah benar-benar bekerja di dua startup yang melakukan riset dasar pertama di dunia. Perusahaan pertama berjuang selama 3 tahun untuk memasukkan hasil baru ke jurnal tingkat atas, lalu akhirnya merilisnya sebagai preprint dan menyerah pada jurnal
Perusahaan kedua tempat bekerja sekarang, karena pengalaman itu, tidak menerbitkan apa pun dan juga ingin menghindari situasi di mana OpenAI atau Anthropic menyalin hasilnya lalu membuat 6 bulan kerja jadi sia-sia. Makalah hanya diberikan bersama materi penjelasan kepada investor
Ironisnya, LLM cukup pandai dalam hal ini, sehingga makalah yang benar-benar bagus dari orang luar jadi lebih kecil kemungkinannya mendapat penilaian lebih baik daripada makalah buruk buatan AI
Dengan blogifikasi riset AI, berbagai klaim dan istilah mulai muncul dan menyebar seperti di media sosial, dan ini tidak sehat
Dalam lingkungan yang tergamifikasi, hampir apa pun bisa didukung hanya dengan menempelkan angka dari berbagai eksperimen, dan kita cepat menuju tahap di mana hampir tidak ada yang mempertanyakan apakah itu benar-benar bermakna. Sampah seperti ini menjadi data pelatihan model berikutnya, lalu model itu kembali menghasilkan model dan blog atau makalah, menciptakan lingkaran setan yang mirip melepaskan rayap ke perpustakaan
Meski begitu, ini tidak sepenuhnya buruk; masa ketika peserta baru terus berdatangan memang menjengkelkan, tetapi setelah mereka pergi, kadang justru dirindukan
Tulisan itu menangani perusahaan-perusahaan yang muncul dalam makalah secara samar. Dalam total sitasi kumulatif, OpenAI yang tertinggi, diikuti MEGVII, Hugging Face, Waymo, Momenta, Preferred Networks, Anthropic, Owkin, Databricks, dan Aibee
Disebutkan bahwa yang dihitung adalah sitasi, bukan jumlah publikasi, dan meskipun tidak lengkap, itu digunakan sebagai indikator proksi pentingnya. Perusahaan seperti Google dikecualikan karena bukan startup unicorn
Makalah itu tampaknya sebenarnya tidak mengungkap perusahaan mana yang tidak memublikasikan makalah. OpenAI, Anthropic, dan Hugging Face justru disebut sebagai perusahaan yang menerbitkan, jadi ketika melihat “startup AI papan atas”, jangan langsung membayangkan OpenAI dan Anthropic
Bahkan setelah perubahan arah pasca-Altman, tidak jelas apakah mereka masih berkontribusi sekarang, dan karena makalah setelah 2025 dikecualikan secara eksplisit, sulit mengetahui aksesibilitas riset frontier terbaru yang justru menjadi sasaran perhatian. Repositorinya ada di https://github.com/q5loisel/unicorn-AI-startup-publications
Menjadi perusahaan AI tidak otomatis berarti perusahaan riset. Sebagian besar startup yang muncul dalam beberapa tahun terakhir menggunakan model buatan pihak lain untuk tujuan komersial, jadi tidak ada alasan berharap ada makalah ilmiah
Justru jika 50% startup berkontribusi pada riset terbuka, itu hasil yang jauh lebih baik dari perkiraan
Makalah yang bagus yang menganalisis industri secara lebih luas juga membahas mengapa riset sebelumnya tampak menunjukkan bahwa semakin sulit menemukan ide bagus
Berbeda dengan fenomena di mana laju pertumbuhan output mandek meski jumlah peneliti di AS meningkat, pelacakan paten perusahaan AS selama 45 tahun menunjukkan bahwa rata-rata jumlah paten per input R&D meningkat, dan elastisitas paten terhadap input juga bertahan atau naik. Ada hubungan positif yang konsisten antara peningkatan paten sebagai ide dan produktivitas tenaga kerja, tetapi laju pertumbuhan perusahaan menurun setelah kenaikan ide dikendalikan. Artinya, kesimpulannya adalah bahwa peran aktivitas inovasi dalam menopang pertumbuhan tidak melemah selama 40 tahun terakhir
https://faculty.tuck.dartmouth.edu/uploads/teresaFort/files/...
Ironis bahwa jika Google tidak merilis Attention Is All You Need, tidak satu pun startup AI saat ini akan ada
Google mungkin menganggap perlombaan senjata model frontier yang independen tidak rasional secara ekonomi, tetapi tetap menilai kemampuan itu penting secara strategis. Bisa jadi strategi jangka panjangnya adalah membuat model terbesar hanya secukupnya untuk dipakai sebagai pabrik penghasil kapabilitas, lalu mengubah kecerdasan itu menjadi jauh lebih banyak model murah untuk tujuan spesifik
Jika Google sudah mengetahui ini, alasan mereka tidak menjadikannya senjata rahasia sejak awal mungkin karena mereka memprediksi perlombaan senjata dan juga tahu cara meraih keuntungan di proses itu. Mengingat makalah distillation terbit lebih dulu daripada makalah Transformer, ini mungkin bukan ironi melainkan hasil yang wajar
Seluruh industri AI dibangun di atas riset terbuka, tetapi gelombang saat ini bertentangan dengan itu dan tampaknya digerakkan oleh keserakahan dengan dalih perlombaan senjata
Diperlukan kebijakan ESG baru yang mengakui peran riset terbuka, tetapi dalam situasi suram saat ini, ESG dan norma lain tampaknya sama-sama tersingkir
Namun, bagi saya justru kebalikannya dari keserakahan. Jika ingin berbagi cara kerja, hasil pemecahan masalah, dan materi pembelajaran, kita bisa langsung mempublikasikannya sendiri, tetapi pekerjaan yang dilakukan dalam kerangka institusi yang disetujui akademia itu melelahkan dan memecah fokus
Di sini, “publikasi riset” bukan berarti mengunggah halaman HTML dan source code, melainkan prosedur komunikasi yang sangat khusus dan politis. Itu hanya bermakna pada tahap karier ketika kompetisi reputasi diperlukan, dan dalam beberapa hal lebih mirip cargo cult yang meniru proses ilmiah yang sebenarnya
Proses publikasi peer review merepotkan, tidak memaksimalkan efisiensi penyampaian pengetahuan, dan lebih mirip sertifikasi kredensial serta otoritas daripada komunikasi, sementara manfaat reputasinya juga lebih banyak mengalir ke individu daripada perusahaan
Publikasi bergaya blog memang penuh sampah yang belum terverifikasi, tetapi riset peer review juga banyak berisi hasil berkualitas rendah, sehingga rasio signal-to-noise tetap buruk selama puluhan tahun terlepas dari sumber pengetahuannya
Jika riset bagus dipublikasikan, itu bisa dimanfaatkan pesaing dengan berbagai cara dan hak kekayaan intelektual pun pada praktiknya hampir mustahil ditegakkan, sehingga menjadi departemen biaya murni. Di beberapa bidang ilmu komputer, state of the art selama puluhan tahun terkubur sebagai rahasia dagang sehingga literatur akademik tertinggal sampai terasa memalukan
Publikasi memakan waktu dan uang, tetapi peneliti ingin memecahkan masalah yang menarik dan perusahaan ingin memaksimalkan pemanfaatan riset, jadi publikasi tidak membantu salah satu pihak. Banyak riset dasar juga ditujukan untuk memecahkan masalah, bukan menghasilkan makalah, dan setelah masalah itu selesai mereka langsung beralih ke masalah berikutnya
Dalam riset frontier, pertimbangan keamanan nasional juga selalu mengikuti. Semua ini adalah hasil dari struktur insentif, dan sebagian besar riset dasar tidak lagi terjadi di akademia. Saya sendiri menikmati program riset tertutup, dan bahkan riset dasar menarik yang saya lakukan sendiri tidak layak dipublikasikan, karena tujuannya bukan reputasi melainkan masalah yang harus diselesaikan