Saya merangkum makalah yang dipublikasikan Apple tentang MM1, sebuah LLM multimodal

Apple telah memublikasikan hasil riset tentang LLM multimodal bernama MM1. (Kode model maupun bobotnya tidak dibuka, dan sepertinya juga tidak akan dibuka ke depannya)

Bagi Anda yang melatih atau melakukan tuning model secara langsung, terutama pada bagian Image Encoder, VL-Connector, serta dataset dan metode pelatihan, rasanya layak untuk melihatnya setidaknya sekali, jadi saya membagikan rangkuman yang saya susun bersama ChatGPT.

Naskah aslinya dapat Anda lihat di situs arXiv dengan judul 'MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training'.

---

Pelajaran tentang encoder: resolusi gambar memberikan dampak terbesar, diikuti oleh ukuran model dan komposisi data pelatihan.

Encoder lesson: Image resolution has the highest impact, followed by model size and training data composition.

Pelajaran tentang VL connector: jumlah visual token dan resolusi gambar adalah yang paling penting, sementara jenis VL connector hampir tidak berpengaruh.

VL Connector Lesson: Number of visual tokens and image resolution matters most, while the type of VL connector has little effect.

Pelajaran data 1: data interleaved sangat membantu untuk few-shot dan performa text-only, sementara data captioning meningkatkan performa zero-shot.

Data lesson 1: interleaved data is instrumental for few-shot and textonly performance, while captioning data lifts zero-shot performance.

Pelajaran data 2: data text-only membantu untuk few-shot dan performa text-only.

Data lesson 2: text-only data helps with few-shot and text-only performance.

Pelajaran data 3: pencampuran data gambar dan data teks secara cermat dapat menghasilkan performa multimodal yang optimal sekaligus mempertahankan performa teks yang kuat.

Data lesson 3: Careful mixture of image and text data can yield optimal multimodal performance and retain strong text performance.

Pelajaran data 4: data sintetis membantu untuk pembelajaran few-shot.

Data lesson 4: Synthetic data helps with few-shot learning.