[Terjemahan] Penjelasan tentang Megabyte dari Meta AI

Terjemahan dari artikel penjelasan Megabyte yang ditulis oleh ENCORD, startup pengembangan alat / infrastruktur AI

• Pengantar struktur utama MegaByte
  • Patch Embedder: meng-embed input dan membaginya menjadi patch
  • Global Module: transformer autoregresif yang melakukan self-attention
  • Local Module: memprediksi patch berikutnya dari input yang diterima dari model global
• Pengantar Multiscale Transformer
• Pengantar Autoregressive Transformer
• Masalah pada model saat ini: Tokenization, Scalability, Generation Speed
• Solusi yang diusulkan
  • Self-attention yang menurunkan biaya komputasi menjadi O(N^(4/3))
  • Menerapkan feedforward layer pada unit patch
  • Pemrosesan paralel saat decoding
• (Tambahan) Perkembangan terbaru Meta AI
  • SAM: https://id.news.hada.io/topic?id=8893
  • MTIA: https://id.news.hada.io/topic?id=9246
  • DINOv2: https://id.news.hada.io/topic?id=9269
  • ImageBIND: https://id.news.hada.io/topic?id=9156
  • (Tidak ada di artikel, tetapi) MMS: https://id.news.hada.io/topic?id=9245
  • (Juga tidak ada di artikel) LIMA: https://id.news.hada.io/topic?id=9239