- Arsitektur Titans dan kerangka MIRAS dirancang agar model AI dapat memperbarui memori inti saat berjalan sambil memproses konteks yang sangat besar dengan cepat
- Titans menggabungkan kecepatan RNN dan akurasi Transformer, serta secara selektif menyimpan informasi dengan tingkat ‘kejutan (surprise)’ tinggi ke dalam memori jangka panjang selama input
- MIRAS adalah cetak biru teoretis yang menafsirkan berbagai model sekuens secara terpadu, dengan menata struktur memori, bias, pelupaan, dan proses optimisasi secara sistematis
- Hasil eksperimen menunjukkan bahwa Titans dan model varian MIRAS (YAAD, MONETA, MEMORA) menunjukkan kinerja yang lebih unggul dalam pemrosesan konteks panjang dan efisiensi dibanding model mutakhir seperti Transformer++ dan Mamba-2
- Riset ini menunjukkan peralihan menuju generasi baru model AI berkonteks panjang yang menggabungkan efisiensi RNN dan daya representasi Transformer
Ikhtisar Titans dan MIRAS
- Arsitektur Titans dan kerangka MIRAS dirancang agar AI dapat memperbarui memori secara real-time saat berjalan sambil memproses konteks skala besar
- Mekanisme attention pada Transformer konvensional membuat biaya komputasi melonjak seiring panjang sekuens
- Titans dan MIRAS mengatasi keterbatasan ini sehingga memungkinkan pemahaman konteks jangka panjang dan adaptasi real-time
- Titans berperan sebagai struktur model konkret, sedangkan MIRAS berfungsi sebagai cetak biru teoretis yang menggeneralisasikannya
- Kedua sistem mengembangkan konsep test-time memorization, sehingga informasi baru dapat diintegrasikan saat inferensi tanpa pelatihan ulang
Titans: pembelajaran konteks real-time
- Titans meniru struktur memori manusia dengan memisahkan memori jangka pendek (mekanisme attention) dan memori jangka panjang (modul berbasis jaringan saraf)
- Modul memori jangka panjang berbentuk multilayer perceptron (MLP), memakai jaringan saraf dalam alih-alih vektor tetap sehingga dapat merangkum informasi dengan lebih kaya
- Konsep intinya adalah ‘metrik kejutan (surprise metric)’
- Semakin berbeda input dari memori yang ada, semakin tinggi tingkat kejutannya dan semakin besar peluangnya disimpan dalam memori jangka panjang
- Contoh: kata yang diperkirakan (‘cat’) memiliki kejutan rendah, sedangkan input tak terduga (‘banana peel’) diperlakukan sebagai kejutan tinggi
- Titans menggabungkan mekanisme momentum dan pelupaan (weight decay)
- Momentum mencerminkan kesinambungan konteks terbaru sehingga informasi terkait ikut tersimpan
- Pelupaan menghapus informasi yang tidak diperlukan agar kapasitas memori tetap efisien
MIRAS: perspektif terpadu untuk model sekuens
- MIRAS menafsirkan semua model sekuens sebagai sistem memori asosiatif (associative memory)
- Berbagai model dipandang pada akhirnya menyelesaikan masalah yang sama: ‘menggabungkan informasi baru dan memori yang ada secara efisien’
- MIRAS mendefinisikan model melalui empat elemen desain
- Struktur memori: bentuk penyimpanan informasi (vektor, matriks, MLP, dan sebagainya)
- Bias attention: menentukan informasi mana yang diprioritaskan model
- Retention gate: skema regularisasi yang mengendalikan pelupaan
- Algoritme memori: metode optimisasi untuk pembaruan memori
- MIRAS melampaui keterbatasan model lama yang bergantung pada mean squared error (MSE) atau kemiripan inner product, dengan mengeksplorasi fungsi objektif dan regularisasi non-Euclidean
Model berbasis MIRAS
- YAAD: menggunakan Huber loss sehingga kurang sensitif terhadap kesalahan input atau outlier
- MONETA: menerapkan generalized norms untuk menjaga memori jangka panjang yang stabil
- MEMORA: membatasi memori seperti peta probabilistik untuk menjamin integrasi informasi yang seimbang
- Ketiga model ini semuanya mencapai kinerja memori jangka panjang yang kuat bahkan tanpa attention
Hasil eksperimen dan kinerja
- Titans dan model varian MIRAS dievaluasi dengan membandingkannya terhadap arsitektur mutakhir seperti Transformer++, Mamba-2, dan Gated DeltaNet
- Mencapai akurasi lebih tinggi dan perplexity lebih rendah pada language modeling (C4, WikiText) serta penalaran zero-shot (HellaSwag, PIQA)
- Juga menunjukkan kemampuan generalisasi pada pemodelan genom (DNA) dan prediksi deret waktu
- Kedalaman memori (Depth) berpengaruh sangat besar terhadap kinerja
- Bahkan dengan ukuran memori yang sama, struktur yang lebih dalam menghasilkan perplexity lebih rendah dan skalabilitas yang lebih baik
- Dari sisi efisiensi, Titans mempertahankan pelatihan paralel dan kecepatan inferensi linear, sehingga dapat memproses lebih cepat daripada model sebelumnya
- Pada benchmark BABILong, model ini menunjukkan kinerja lebih baik dalam penalaran konteks panjang meski memakai parameter lebih sedikit daripada GPT-4
- Secara efektif dapat menangani jendela konteks hingga lebih dari 2 juta token
Kesimpulan
- Titans dan MIRAS menghadirkan struktur memori baru yang melampaui batas status rekuren berukuran tetap dan belajar secara real-time selama data masuk
- MIRAS menyediakan kerangka teoretis yang kuat yang mengintegrasikan optimisasi online, memori asosiatif, dan desain arsitektur
- Melalui ruang desain non-Euclidean, keduanya meletakkan dasar bagi era model AI berkonteks panjang yang menggabungkan efisiensi RNN dan daya representasi Transformer
Belum ada komentar.