[Terjemahan] Penjelasan tentang Megabyte dari Meta AI
(discuss.pytorch.kr)Terjemahan dari artikel penjelasan Megabyte yang ditulis oleh ENCORD, startup pengembangan alat / infrastruktur AI
- Pengantar struktur utama MegaByte
- Patch Embedder: meng-embed input dan membaginya menjadi patch
- Global Module: transformer autoregresif yang melakukan self-attention
- Local Module: memprediksi patch berikutnya dari input yang diterima dari model global
- Pengantar Multiscale Transformer
- Pengantar Autoregressive Transformer
- Masalah pada model saat ini: Tokenization, Scalability, Generation Speed
- Solusi yang diusulkan
- Self-attention yang menurunkan biaya komputasi menjadi O(N^(4/3))
- Menerapkan feedforward layer pada unit patch
- Pemrosesan paralel saat decoding
- (Tambahan) Perkembangan terbaru Meta AI
- SAM: https://id.news.hada.io/topic?id=8893
- MTIA: https://id.news.hada.io/topic?id=9246
- DINOv2: https://id.news.hada.io/topic?id=9269
- ImageBIND: https://id.news.hada.io/topic?id=9156
- (Tidak ada di artikel, tetapi) MMS: https://id.news.hada.io/topic?id=9245
- (Juga tidak ada di artikel) LIMA: https://id.news.hada.io/topic?id=9239
Belum ada komentar.