- Perusahaan yang bertujuan membangun "Safe Superintelligence" sebagai produk sistem AI yang aman dan kuat
- Menyelesaikan masalah dengan terobosan ilmiah dan rekayasa inovatif sambil mempertimbangkan keselamatan dan performa secara bersamaan
- Merencanakan agar keselamatan selalu menjadi prioritas sambil meningkatkan performa secepat mungkin
- Fokus hanya pada SSI agar terlindungi dari overhead manajemen/siklus produk/tekanan komersial
- Co-founder
- Ilya Sutskever: salah satu pendiri OpenAI dan mantan Chief Scientist
- Daniel Gross: salah satu pendiri Cue, mesin pencari yang diakuisisi Apple. Setelah akuisisi, menangani AI/pencarian di Apple.
- Banyak berinvestasi di berbagai startup bersama Nat Friedman, yang pernah menjadi CEO GitHub: Instacart, Coinbase, Airtable, Figma, Notion,..
- Daniel Levy: mantan lead tim Optimization di OpenAI
1 komentar
Opini Hacker News
Senang Ilya bisa berkontribusi pada kemajuan AI. Namun, saya penasaran bagaimana ia akan memberikan kompensasi tinggi seperti perusahaan-perusahaan yang secara komersial lebih diuntungkan. Mungkin ia bisa menemukan orang-orang yang termotivasi secara ideologis atau yang sudah mandiri secara finansial. Selain itu, mengamankan sumber daya komputasi yang memadai juga sulit ketika perusahaan lain menginvestasikan miliaran untuk membangun pusat data GPU raksasa.
Saya memahami kekhawatiran bahwa "superintelligence" bisa mengancam manusia. Namun, kekhawatiran yang lebih besar adalah situasi ketika "superintelligence" tidak lolos, tetapi justru dikendalikan oleh manusia tertentu. Secara historis, kita bisa melihat apa yang dilakukan manusia yang memegang kekuasaan besar. Perlombaan senjata nuklir pada era Perang Dingin adalah contoh yang baik.
Saya setuju dengan pendapat bahwa insentif bisnis menghasilkan AI yang tidak aman. Algoritma rekomendasi media sosial sudah sangat berbahaya bagi masyarakat, terutama bagi anak muda. Ketika ada externality negatif, pemerintah harus membuat regulasi yang tepat.
Masalah Ilya bukanlah mengembangkan AI yang aman, melainkan mengembangkan bisnis yang aman. Kita bisa membuat AI yang aman hari ini, tetapi kita tidak tahu bagaimana manajer berikutnya akan menanganinya. Jika masalah bisnis yang aman bisa diselesaikan, banyak dampak buruk sosial dapat dihilangkan.
Jika superintelligence bisa dicapai, saya pesimistis soal keselamatannya. Tampaknya mustahil melakukan sandboxing terhadap kecerdasan yang lebih tinggi daripada diri kita. Superintelligence bisa memikirkan vektor serangan baru. Seperti dalam film "Transcendence", ia mungkin bisa melakukan hal-hal yang tampak seperti sihir melalui penemuan fisika baru.
Ada prediksi bahwa model bisnisnya akan menjadi protokol eksternal yang mirip dengan SSL. Dalam situasi dengan beragam pendekatan, tanpa protokol dan standar yang terdefinisi, kecil kemungkinan "keamanan" akan dijalankan pada lapisan produk. Ilya tampak seperti sosok yang punya kredibilitas dan kemampuan teknis untuk mewujudkannya.
Rasanya Ilya bisa menggalang dana yang nyaris tak terbatas hanya dengan namanya. Saya tidak setuju dengan arah "tidak ada produk sampai berhasil". Umpan balik dari dunia nyata akan penting untuk mengembangkan superintelligence. Namun, saya setuju bahwa superintelligence bisa dicapai.
Penjelasan soal bagaimana "fokus tunggal" menghilangkan siklus produk atau overhead manajemen masih diperlukan.
Saya penasaran apakah superintelligence yang aman bisa bersaing dengan superintelligence tanpa batasan. Jika perusahaan lain mengejar tujuan yang sama tanpa menghabiskan waktu untuk keamanan, saya ragu apakah ini bisa bersaing.
Saya melihat wawancara Yann LeCun yang mengabaikan gagasan membangun kecerdasan "sejati" dengan menggunakan LLM. Ia menyarankan para mahasiswa doktoralnya untuk meneliti teknologi berikutnya, bukan teknologi ini. Saya penasaran bagaimana hal itu bisa diselaraskan dengan apa yang sedang dilakukan Ilya sekarang. Saya juga penasaran apakah Ilya berencana menggunakan teknologi yang berbeda.