Peramalan Deret Waktu Jangka Panjang dengan xLSTM: XLSTMTime

xLSTMTime: Long-term Time Series Forecasting With xLSTM

• Dalam beberapa tahun terakhir, model berbasis transformer telah menunjukkan kinerja menonjol dalam peramalan deret waktu multivariat jangka panjang (LTSF). Namun, model ini menghadapi masalah seperti kebutuhan komputasi yang tinggi, kesulitan menangkap dinamika temporal, dan pengelolaan dependensi jangka panjang
• Kemunculan LTSF-Linear dengan struktur linear sederhana menunjukkan hasil yang melampaui model berbasis transformer, sehingga mendorong evaluasi ulang terhadap kegunaan transformer dalam peramalan deret waktu
• Sebagai tanggapan, makalah ini menyajikan hasil penerapan arsitektur terbaru, extended LSTM (xLSTM), pada LTSF. xLSTM memiliki potensi yang cocok untuk LTSF, termasuk exponential gating dan struktur memori termodifikasi dengan kapasitas lebih tinggi
• Arsitektur LTSF yang kami adopsi, xLSTMTime, melampaui pendekatan saat ini. Hasil perbandingan kinerja berbagai model mutakhir dengan xLSTMTime pada beberapa dataset dunia nyata membuktikan kemampuan prediksinya yang unggul
• Temuan kami menunjukkan bahwa arsitektur rekuren yang telah disempurnakan dapat menjadi alternatif kompetitif terhadap model berbasis transformer untuk tugas LTSF, serta berpotensi mendefinisikan ulang lanskap peramalan deret waktu

Ringkasan GN⁺

• Makalah ini memperkenalkan xLSTM untuk mengatasi keterbatasan model berbasis transformer dan menunjukkan kinerja unggul dalam peramalan deret waktu jangka panjang
• xLSTMTime membuktikan kemampuan prediksi yang melampaui model sebelumnya melalui exponential gating dan struktur memori yang dimodifikasi
• Riset ini kembali menyoroti potensi arsitektur rekuren dalam peramalan deret waktu dan menawarkan alternatif baru terhadap model berbasis transformer
• Proyek dengan fungsi serupa mencakup Prophet dari Facebook dan DeepAR dari Amazon

[GN⁺]

Komentar Hacker News

• Memang benar bahwa dalam beberapa tahun terakhir model berbasis transformer mendapat perhatian dalam prediksi deret waktu jangka panjang multivariat, tetapi saya ragu apakah secara umum model itu lebih baik daripada model non-deep learning
  Sejauh yang saya pahami, tidak demikian, meski saya tidak mengikuti bidang ini dengan sangat dekat

  • Dari pengalaman memprediksi pembayaran/pengeluaran, deep learning umumnya berkinerja lebih rendah daripada gradient boosted trees
    Model deep learning kuat dalam mempelajari musiman, tetapi cenderung kurang baik menangani tren atau guncangan yang kompleks
    Data ekonomi dan keuangan sering kali memiliki musiman yang sederhana dan tren yang kompleks, jadi deep learning tampaknya cukup tertinggal
    Saya setuju dengan makalah ini. Arsitektur deret waktu deep learning yang bagus yang pernah saya pakai lebih mirip perluasan sederhana dari MLP atau recurrent neural network seperti DeepAR atau N-BEATS, sedangkan arsitektur berbasis transformer benar-benar buruk, termasuk foundation model berbasis transformer yang belakangan ini banyak bermunculan
  • Dalam pekerjaan keselamatan penerbangan, deep learning lebih baik daripada model non-deep learning tradisional untuk prediksi deret waktu multivariat
    Namun, di antara model deep learning sendiri, perbedaan kinerjanya sangat besar, seperti transformer, LSTM dua arah, MLP biasa, VAE, dan lainnya
  • Saya belum mencobanya langsung, tetapi saya pernah membahas topik ini dengan teman yang baru-baru ini menggunakan model berbasis tree seperti XGBoost untuk analisis deret waktu
    Menurutnya, arsitektur berbasis transformer cenderung memberikan performa yang cukup baik pada tugas deret waktu dengan usaha yang relatif lebih sedikit dibandingkan model tree
    Sejauh yang saya pahami, jika parameternya dituning dengan cukup, model berbasis tree biasanya bisa mengalahkan transformer. Namun, model seperti TimeGPT menarik untuk implementasi cepat karena memberi performa yang cukup baik tanpa tuning yang luas
  • Hal itu dibahas di paragraf tepat setelahnya dalam makalah. xLSTMTime juga bukan berbasis transformer
  • Belum sampai luar biasa, tetapi upaya transfer learning terbaru terlihat menjanjikan

• Sebagian pekerjaan saya memang membuat model nowcasting dan prediksi di bidang ekonomi. Saya menangani indikator ekonomi seperti inflasi dan PDB serta indikator keuangan seperti likuiditas pasar
  Saya belum sempat membaca makalahnya, tetapi saya sepenuhnya setuju dengan nada umumnya bahwa “transformer hebat untuk hal-hal yang memang dikuasainya, tetapi model keluarga LSTM juga masih sangat bernilai”

  • Penasaran apakah Anda pernah berkesempatan menerapkan Mamba dalam pekerjaan, dan bagaimana pendapat Anda

• Apa hubungannya ini dengan model prediksi cuaca berbasis AI milik Google?
  https://deepmind.google/discover/blog/graphcast-ai-model-for...

  • Tidak. Graphcast adalah graph transformer yang dilatih dengan data rekonstruksi atmosfer ERA5, bukan model prediksi deret waktu serbaguna
    Sebagai catatan, Graphcast mengungguli semua prediksi tunggal global tradisional, setidaknya untuk prediksi pola global skala besar. Untuk metrik seperti Z500, kira-kira pada rentang lead time 3–10 hari
    ECMWF memiliki AIFS, turunan dari Graphcast, dan kemungkinan besar akan memasukkannya, atau sesuatu yang serupa, ke lingkungan operasional dalam beberapa tahun

• Jika dipasarkan sebagai alat prediksi, apakah ini tidak berlaku untuk klasifikasi event dalam deret waktu?

  • Saya melihat itu sebagai tugas yang agak berbeda. Saya bukan ahli di bidang ini, tetapi jika jumlah event n sangat kecil, sepertinya bisa diperlakukan seperti masalah prediksi multivariat dengan probabilitas tiap event sebagai nilai target
  • Saya juga penasaran di bagian mana pendekatan ini atau pendekatan berbasis transformer/LLM dapat meningkatkan, misalnya, deteksi anomali

• Sayang sekali tautan dataset di makalah tidak berfungsi. Semoga diperbaiki

• Model deret waktu deep learning terbaik kemungkinan ada secara tertutup di internal hedge fund

  • Pada kenyataannya, sebagian besar pekerjaan yang sulit bukanlah model tunggal raksasa, melainkan rekayasa fitur. Sejauh yang saya tahu, gradient boosting masih dominan
  • Karena no free lunch theorem, secara umum tidak ada yang namanya model terbaik
    Metode yang bekerja baik di hedge fund pun bisa buruk di domain lain yang jumlah datanya, sifat datanya, dan inductive bias yang dibutuhkannya lebih sedikit atau berbeda
  • Menurut saya, setidaknya hedge fund kelas atas sudah tidak lagi memakai pemodelan deret waktu. Menurut standar sekarang, itu cukup kuno

• Prediksi deret waktu bekerja paling baik di domain deterministik
  Tidak ada teknik LLM, AI, deep learning, atau machine learning terbuka yang efektif untuk pasar saham. Benar-benar tidak ada. Saya sudah mencoba semuanya

• Kalau metode prediksi deret waktu seseorang benar-benar berhasil, mereka tidak akan mempublikasikannya

  • Tidak selalu begitu. Kenyataannya, banyak juga yang dipublikasikan. Mayoritas besar pekerjaan deret waktu tidak berkaitan dengan harga aset atau mengalahkan imbal hasil pasar saham
  • Model Transformer juga merupakan salah satu model paling sukses dalam sejarah AI, tetapi dipublikasikan sebagai makalah

• Saya salah membacanya sebagai XSLT

  • Saya mengklik karena penasaran seberapa menarik tulisan tentang XML pada tahun 2024, dan pada saat yang sama merasa kecewa sekaligus puas
  • Benar. Dan ini juga memang tulisan tentang transformasi
  • Saya juga begitu. Apakah saya sudah tua?

• Saya menantikan hari ketika seseorang mencoba memprediksi saham dengan ini lalu kehilangan seluruh hartanya