Implementasi open source AlphaFold3

• Para pendiri Ligo Biosciences membagikan implementasi open source dari AlphaFold3, model terbaru untuk prediksi struktur protein
• Google DeepMind dan startup baru mereka, Isomorphic Labs, sedang memperluas bisnis ke pengembangan obat
  • Mereka mengembangkan AlphaFold3 untuk mempercepat pengembangan obat dan menciptakan permintaan dari perusahaan farmasi
  • Mereka sudah menandatangani kontrak senilai $3 miliar dengan Novartis dan Eli Lilly
• AlphaFold3 adalah model prediksi struktur biomolekuler (biomolecular structure prediction) dengan 3 fungsi utama
  • Prediksi struktur protein
  • Prediksi struktur interaksi obat-protein
  • Prediksi struktur kompleks asam nukleat-protein
• AlphaFold3 sangat penting dalam bidang sains karena sangat mempercepat pemetaan struktur protein
  • Dibandingkan seorang mahasiswa doktoral yang meneliti satu struktur selama seluruh masa studi doktoralnya, dengan AlphaFold3 prediksi yang menyaingi akurasi eksperimental bisa diperoleh dalam hitungan menit
• Masalahnya, DeepMind mengumumkan AlphaFold3 pada bulan Mei tetapi tidak membuka source code-nya
  • Hal ini memunculkan pertanyaan tentang reprodusibilitas dan ketidakpuasan di komunitas ilmiah
• AlphaFold3 adalah kemajuan mendasar dalam teknologi pemodelan struktur yang dapat dimanfaatkan oleh seluruh industri biotek, sehingga cakupan penggunaannya sangat luas
  • Teknologi penyuntingan gen CRISPR: ilmuwan dapat melihat dengan tepat bagaimana DNA berinteraksi dengan protein Cas yang berfungsi seperti gunting
  • Riset kanker: dapat memprediksi bagaimana obat potensial berikatan dengan target kanker. Salah satu sorotan makalah DeepMind adalah prediksi struktur kompleks inhibitor KRAS klinis dan targetnya
  • Prediksi antibodi/nanobody dan target: AlphaFold3 meningkatkan akurasi untuk kelas molekul ini hingga 2 kali dibanding alat peringkat berikutnya
• Sayangnya, karena lisensinya nonkomersial, tidak ada perusahaan yang bisa menggunakannya
• Karena itu mereka merilis implementasi open source AlphaFold3
  • Mereka membuka seluruh model yang dilatih pada protein rantai tunggal, dan dua fungsi lainnya akan segera dilatih serta dirilis
  • Kode pelatihan juga disertakan
  • Bobot model akan dibuka setelah pelatihan dan benchmarking selesai
  • Mereka menggunakan lisensi Apache 2.0 agar benar-benar menjadi open source
• Melalui makalahnya, DeepMind telah mengungkap seluruh arsitektur model beserta pseudocode untuk setiap komponennya
  • Ini sepenuhnya diterjemahkan ke PyTorch, tetapi membutuhkan jauh lebih banyak reverse engineering daripada yang diperkirakan
• Pada tahap implementasi awal, mereka menemukan berbagai masalah dalam makalah DeepMind yang dapat mengganggu pelatihan. Hal ini tampaknya akan menarik bagi komunitas deep learning
  • Penskalaan loss MSE berbeda dari Karras et al. (2022). Bobot yang disediakan dalam makalah tidak menurunkan loss pada tingkat noise yang tinggi
  • Residual layer hilang dari makalah
    • Setelah menambahkan residual layer yang hilang, ada keuntungan pada gradient flow dan konvergensi
    • Mereka penasaran apakah ada yang tahu alasan DeepMind menghilangkan residual connection di blok DiT
  • Dalam bentuk modul MSA saat ini, ada dead layer
    • Pair weighted averaging terakhir dan transition layer tidak dapat berkontribusi pada pair representation sehingga gradien tidak terpropagasi
    • Ini diganti dengan urutan seperti ExtraMsaStack di AlphaFold2
    • Menggunakan weight sharing juga bisa menjadi alternatif, tetapi penjelasan tentang hal ini di makalah cukup ambigu
• Di Ligo (YC S24), mereka menggunakan ide AlphaFold3 untuk perancangan enzim
• Mereka menganggap open-sourcing AlphaFold3 sebagai misi sampingan yang membantu komunitas

Pendapat GN⁺

• AlphaFold3 adalah teknologi revolusioner di bidang prediksi struktur protein dan diperkirakan akan berdampak besar pada pengembangan obat serta riset ilmu hayati
• Namun, keputusan DeepMind untuk tidak membuka source code dapat dipandang bertentangan dengan reprodusibilitas dan semangat kolaborasi di komunitas ilmiah
• Proyek open source dengan fungsi serupa AlphaFold3 antara lain OpenFold dan RoseTTAFold
• Saat mengadopsi AlphaFold3, akurasi model, keterbatasan, dan kebutuhan sumber daya komputasi perlu ditinjau secara cermat
• Munculnya implementasi open source ini memungkinkan lebih banyak peneliti dan perusahaan mendapatkan manfaat AlphaFold3, tetapi komersialisasi masih tetap memiliki keterbatasan

[GN⁺]

Komentar Hacker News

• DeepMind dan AlphaFold sedang beralih ke sumber tertutup

  • Isomorphic Labs didirikan sebagai divisi Alphabet dan berfokus pada pekerjaan sumber tertutup
  • Versi open source dari alat akademik secara teori tampaknya bagus
  • Tidak cukup akrab dengan bidang ini untuk menunjukkan manfaat spesifiknya
  • Penasaran apa rencana perusahaan ini
  • Penasaran apakah mereka akan terus mengerjakan proyek open source sebagai bagian dari model bisnis, atau ini hanya sekali saja
  • Situs webnya sangat samar soal apa yang sebenarnya ingin dijual

• Penasaran bagaimana prediksi divalidasi

  • Penasaran apakah setelah prediksi tetap perlu menggunakan teknik eksperimental seperti kristalografi sinar-X, cryo-EM, dan sebagainya
  • Penasaran apakah prediksinya cukup dekat dengan kenyataan sehingga bisa lanjut tanpa eksperimen

• Penasaran apakah ada rencana menerbitkan makalah tentang implementasinya

  • Itu akan memudahkan untuk disitasi dalam literatur nantinya
  • Penasaran apakah jurnal-jurnal besar akan menerima makalah seperti itu
  • Jika ada pertanyaan soal reproduktibilitas, tampaknya mereka akan menerimanya

• Senang versi open ini bisa digunakan dalam lingkungan komersial

  • Ini cara yang keren untuk memulai perusahaan

• Sepertinya akan lebih baik jika nama implementasi ini diubah

  • Karena ini sebenarnya bukan AlphaFold3
  • Bisa saja menerima permintaan penghentian penggunaan nama dari DM

• Kode model itu sendiri hanyalah sebagian kecil dari tantangan

  • Komputasi pelatihan dan data pelatihan adalah bagian yang jauh lebih besar
  • Google kemungkinan punya akses ke komputasi pelatihan berskala besar melebihi siapa pun

• Pernah punya pengalaman singkat dengan proteomik komputasional

  • Bidang itu benar-benar level berikutnya

• Siapa sangka hanya merilis pseudocode saja tidak cukup

  • Senang melihat sistem kekebalan ilmiah yang melawan sains tertutup
  • Penasaran apa langkah Google berikutnya

• Penasaran apakah mereka familier dengan ColabFold

  • Tautan ColabFold

• Penasaran apa langkah selanjutnya

  • Penasaran kenapa memutuskan untuk fokus pada desain enzim