Pengantar
Siapa yang sebaiknya membaca tulisan ini
- Orang yang ingin memahami cara kerja AlphaFold3
- Orang yang ingin memahami struktur kompleks secara visual
- Orang yang sudah terbiasa dengan machine learning
Gambaran umum arsitektur
- AlphaFold3 memprediksi struktur protein, asam nukleat, molekul kecil, dan lainnya
- Menggunakan metode featurisasi/tokenisasi yang lebih kompleks untuk menangani tipe input yang lebih rumit
Persiapan input
Tokenisasi
- Asam amino standar: 1 token
- Nukleotida standar: 1 token
- Asam amino/nukleotida non-standar: 1 atom per token
- Molekul lain: 1 atom per token
Pencarian (pembuatan MSA dan template)
- Mencari sekuens serupa untuk membuat MSA dan template
- Menghitung jarak Euclidean lalu mengubahnya menjadi distogram
Pembuatan representasi tingkat atom
- Membuat "struktur referensi" untuk tiap asam amino, nukleotida, dan ligan
- Membuat representasi tunggal tingkat atom (q) dan representasi pasangan (p)
Pembaruan representasi tingkat atom (Atom Transformer)
- Memperbarui q dan p untuk menghasilkan representasi yang lebih baik
- Menggunakan Adaptive LayerNorm, Attention with Pair Bias, Conditioned Gating, dan Conditioned Transition
Agregasi tingkat atom -> tingkat token
- Mengubah representasi tingkat atom menjadi tingkat token
- Menambahkan MSA dan informasi yang disediakan pengguna
Pembelajaran representasi
Modul template
- Menggunakan template untuk memperbarui z
Modul MSA
- Memperbarui MSA dan z
- Menggunakan Outer Product Mean, Row-wise Gated Self-Attention Using Only Pair Bias
Modul Pairformer
- Memperbarui s dan z
- Menggunakan Triangle Updates, Triangle Attention
Prediksi struktur
Prinsip dasar difusi
- Menggunakan model difusi untuk memprediksi struktur
- Menambahkan dan menghapus noise untuk menghasilkan struktur akhir
Ringkasan GN⁺
- AlphaFold3 memprediksi struktur kompleks seperti protein, asam nukleat, dan molekul kecil
- Membantu pemahaman dengan menjelaskan arsitektur model yang kompleks lewat diagram visual
- Merupakan model yang menghadirkan kemajuan penting di bidang machine learning dan bioteknologi
- Proyek dengan fungsi serupa antara lain RosettaFold
1 komentar
Komentar Hacker News
Saya berterima kasih karena artikel ini menerjemahkan makalah agar dapat dipahami oleh ahli biologi struktural
Saya jadi tahu bahwa AF3, yang jumlah PTM-nya terbatas, harus memperlakukan semua atom sebagai token terpisah
Mungkin ini karena PTM sangat jarang muncul di PDB
Ini adalah tulisan yang memberi gambaran sekilas tentang bagaimana jaringan saraf dan teknologi AI akan diimplementasikan di masa depan
Banyak rekayasa dan pemanfaatan cerdas dari teknologi yang sudah ada digabungkan dengan model yang kuat dan terlatih dengan baik
Saat ini, hal seperti ChatGPT berada pada tahap awal dalam membangun model dasar untuk generalisasi dan pemrosesan data
Belum banyak pekerjaan yang dilakukan untuk memproses input agar dapat dipahami model secara optimal
Ada penelitian dasar di bidang ini, tetapi belum ada yang secanggih Alphafold
Orang-orang menggabungkan LLM dan menggunakan system prompt untuk membantu pemrosesan input
Jika sistem yang lebih kompleks muncul, kita mungkin akan melihat sesuatu yang benar-benar mirip dengan AGI
Sangat kompleks
Saya belum pernah mendengar tentang algoritma MSA yang digunakan untuk menyelaraskan urutan protein
Tulisan yang luar biasa, terima kasih
Saya berencana membacanya lebih mendalam