TimeGPT-1
(arxiv.org)- TimeGPT adalah model foundation deret waktu yang memprediksi data deret waktu dari berbagai domain tanpa pelatihan tambahan
- Dibandingkan pendekatan statistik, machine learning, dan deep learning yang ada, model ini mengusung pendekatan yang meningkatkan kinerja, efisiensi, dan kesederhanaan sekaligus dalam inferensi zero-shot
- Peramalan deret waktu merupakan fondasi penting bagi area yang membutuhkan pengambilan keputusan masa depan, seperti keuangan, layanan kesehatan, cuaca, ilmu sosial, permintaan listrik, serta perencanaan kapasitas server, tenaga kerja, dan mesin
- Bidang peramalan deret waktu selama ini masih kekurangan model pralatih umum yang diakui luas seperti di ranah bahasa atau persepsi, dan juga belum ada konsensus praktis yang kuat tentang efektivitas deep learning
- Model pralatih umum menunjukkan kemungkinan untuk meningkatkan akses terhadap prediksi presisi tinggi sekaligus mengurangi waktu dan kompleksitas komputasi
Arah model yang diusung TimeGPT
- TimeGPT adalah model foundation untuk deret waktu yang dapat menghasilkan prediksi bahkan pada berbagai dataset yang tidak pernah dilihat saat pelatihan
- Inti pendekatannya adalah inferensi zero-shot yang melakukan prediksi di berbagai domain dan aplikasi tanpa pelatihan tambahan
- Model umum yang telah dipralatih berpotensi mengubah praktik peramalan deret waktu agar lebih mudah diakses, lebih akurat, serta jauh mengurangi waktu yang dibutuhkan dan kompleksitas komputasi
Area penggunaan peramalan deret waktu
- Deret waktu adalah data yang diurutkan berdasarkan waktu, dan digunakan sebagai data dasar untuk menilai kondisi masa depan di sistem, perusahaan, dan institusi
- Contoh penerapannya mencakup berbagai bidang
- Memahami siklus dan tren ekonomi
- Mengidentifikasi pola pengeluaran konsumen
- Mengoptimalkan permintaan listrik untuk produksi listrik dan pengelolaan jaringan listrik
- Menyesuaikan kapasitas dan infrastruktur server, tenaga kerja, serta mesin
- Mengukur pasang surut laut dan melacak harga penutupan harian Dow Jones
- Di bidang keuangan, layanan kesehatan, cuaca, dan ilmu sosial, memahami pola waktu, tren, dan fluktuasi periodik penting untuk memprediksi nilai masa depan dan mendukung pengambilan keputusan
Keterbatasan pendekatan peramalan yang ada
- Bidang peramalan deret waktu belum mencapai tingkat konsensus yang diakui luas seperti model generatif di ranah bahasa dan persepsi
- Dalam tugas peramalan, penilaian praktisi terhadap efektivitas deep learning masih terbelah
- Riset peramalan yang ada masih belum sepenuhnya memenuhi tingkat kemampuan yang dijanjikan oleh model pralatih yang benar-benar umum
Hasil evaluasi dan implikasinya
- TimeGPT dievaluasi dengan membandingkannya terhadap model statistik, model machine learning, dan model deep learning yang ada
- Hasil evaluasi merangkum bahwa inferensi zero-shot dari TimeGPT yang telah dipralatih unggul dalam aspek kinerja, efisiensi, dan kesederhanaan
- Temuan ini digunakan sebagai dasar bahwa wawasan dari kemajuan di area AI lain juga dapat diterapkan pada analisis deret waktu
- Model deret waktu berskala besar dapat menjadi peluang untuk meningkatkan akses terhadap prediksi yang lebih presisi dan mengurangi ketidakpastian
1 komentar
Opini Hacker News
Saya sudah cukup lama berkecimpung dalam peramalan deret waktu, tetapi masih belum menemukan kegunaan model deep learning khusus deret waktu seperti ini
Pada data berdimensi sangat tinggi, deep learning memang unggul, misalnya saat membuat model deteksi penipuan di perusahaan pemroses pembayaran kartu. Namun hampir tidak ada keuntungan memakai model “deret waktu” terpisah yang memperlakukan waktu secara berbeda dari fitur lain
Saya pernah mencoba N-BEATS, N-HiTS yang diklaim berperforma mutakhir, serta hampir semua varian RNN yang populer sebelum transformer, tetapi semuanya tidak bisa mengalahkan MLP yang memasukkan nilai lag sebagai fitur. Saat berbicara dengan orang lain di bidang peramalan, mereka juga mengatakan melihat hasil yang sama
Untuk data berdimensi menengah, LightGBM/XGBoost jauh lebih unggul, biasanya menghasilkan performa yang sama atau lebih baik daripada model deep learning mana pun, dengan tuning yang jauh lebih sedikit dan waktu komputasi yang sangat kecil
Untuk data berdimensi rendah, karena datanya tidak cukup, struktur harus dibentuk dengan intuisi manusia, sehingga (V)ARIMA/ETS/model faktor masih menjadi yang terkuat
Karena itu, saya sangat skeptis terhadap klaim adanya model “deret waktu” yang secara umum berkinerja tinggi. Berbeda dengan model bahasa, meskipun dilatih dengan deret waktu, ruang bagi model untuk memahami struktur fundamental cara dunia bekerja itu terbatas, sehingga kemampuan generalisasinya pun pasti sangat terbatas
Dan saya juga penasaran bagaimana memakai model seperti XGBoost untuk peramalan multi-langkah ketika harus memprediksi beberapa titik waktu ke depan
Bagaimana pendekatan memasukkan fitur lag ke MLP dibandingkan dengan memakai panjang sekuens yang lebih panjang pada attention di transformer? Saya penasaran apakah memasukkan nilai lag 128 titik waktu ke jaringan feedforward juga bisa memberi hasil yang baik
Saya juga sampai pada kesimpulan itu ketika bereksperimen dengan berbagai algoritma machine learning dan membuat bot trading cerdas https://github.com/asavinov/intelligent-trading-bot
Namun ada kasus ketika transformer bisa memberi keuntungan besar. Ini bisa berguna ketika peramalan numerik dikombinasikan dengan analisis peristiwa diskret dan urutan peristiwa itu penting, atau ketika pola tertentu yang dicari dalam analisis teknikal menjadi penting. Dalam kasus seperti ini, diperlukan data yang jauh lebih banyak
Yang pasti para analis grafik akan bermunculan untuk menjual prediksi pasar berbasis GPT
Menurut saya, model deret waktu dengan korpus pelatihan yang cukup besar mungkin mampu menangani keunikan tipikal seperti musiman, guncangan, dan outlier dengan cukup baik
Saya sepenuhnya setuju tentang kondisi sejauh ini, tetapi saya menantikan para praktisi mencoba model seperti yang disajikan di sini. Bisa jadi benar-benar berhasil
Bukan, Transformer bukan solusi serbaguna
Meski Transformer terasa seperti aproksimator fungsi umum yang paling mutakhir, kita perlu memahami mengapa ia bekerja begitu baik pada bahasa dan visi
Transformer sangat mudah diparalelkan dan mempelajari representasi menengah yang canggih. Konsep-konsep makna mulai terpisah rapi dalam ruang, ia juga secara alami mendeteksi pemisah, serta belajar menangani unsur seperti garis, kurva, warna, dan telinga anjing. Lapisan terakhir menggabungkan konsep-konsep canggih ini untuk mempelajari konsep tingkat tinggi seperti anjing/kucing/blog
Namun Transformer, dan secara lebih luas metode deep learning pada umumnya, belum berhasil mengekstrak representasi menengah baru dari data deret waktu, sehingga tidak bekerja dengan baik
Bahkan sekilas saja, bagaimana kita harus menangani “jendela token”? Sederhananya, pemodelan deret waktu adalah pekerjaan mengidentifikasi pola berulang dengan siklus hidup yang sangat berbeda satu sama lain, dengan dikondisikan pada pengamatan tertentu terhadap dunia. Sejak awal, agar bisa menangani masalah ini, model harus mampu bernalar secara alami pada skala tahun, hari, dan detik sekaligus. Lucunya, makalah streaming LLM dari MIT minggu lalu mungkin bisa membantu untuk hal ini
Kedua, besaran peningkatannya tampak sangat kecil, kalaupun ada. Jika mengusulkan perubahan arsitektur besar sambil menghilangkan observabilitas dan keterjelasan, hasilnya harus benar-benar luar biasa
Sebenarnya, jika ada orang yang menemukan teknik terobosan dalam prediksi deret waktu, bodoh sekali jika ia memberitahukannya kepada orang lain sebelum menghasilkan 1 miliar dolar pertama di pasar. Menurut saya berhenti di 1 miliar dolar pun bodoh. Prediksi deret waktu adalah masalah dengan imbalan finansial terbesar jika bisa diselesaikan. Kalau sudah dipublikasikan sebagai makalah, saya akan menduga isinya mengecewakan dengan sendirinya
Cukup telusuri semua mesin Turing universal monoton yang pita masukannya terdiri dari gabungan semua data terkumpul yang mungkin dan deret waktu yang diminati. Lewati program yang berjalan terlalu lama, sisakan hanya program-program lain yang mereproduksi urutan input, lalu buat distribusi probabilitas untuk bit keluaran berikutnya dengan bobot 2^- berdasarkan ukuran program
Apa yang begitu sulit?
Industri high-frequency trading sudah cukup lama berhasil menerapkan deep learning pada data pasar. Mulai dari packet capture dan tick sampai candle, semuanya ditangani
Mengapa tim berisi 50 quant/software engineer/trader akan mempublikasikan cara mereka menghasilkan laba lebih dari 1 miliar dolar per tahun?
Dalam prediksi deret waktu standar, sifat itu biasanya berupa “pola periodik akan berlanjut” atau “pola pertumbuhan akan berlanjut”
Transformer yang dilatih dengan data bahasa pada dasarnya belajar melakukan prediksi deret waktu yang di dalamnya muncul sangat banyak sifat kompleks yang memengaruhi kelanjutan isi. Data bahasa begitu kompleks dan beragam sehingga untuk melanjutkan teks diperlukan in-context learning. Ini adalah kemampuan menemukan sifat umum dalam berbagai jenis string simbol dan menggunakannya untuk melanjutkan string tersebut
Di dalam data bahasa juga bisa terdapat tabel Excel raksasa berisi berbagai data seperti harga saham atau catatan cuaca. Jadi masuk akal bahwa in-context learning menjadi sangat kuat hingga mampu melakukan pelanjutan deret waktu secara zero-shot
Lebih jauh lagi, menurut saya data bahasa dan arsitektur Transformer, berkat in-context learning, punya potensi menghasilkan perilaku yang mirip kecerdasan umum sungguhan. Ini adalah pengenalan pola umum. Data bahasa cukup kompleks sehingga stochastic gradient descent mau tidak mau dapat mengarah pada pengenalan pola umum dan pelanjutan
Kita masih berada di tahap awal, dan saat ini fokus pada fine-tuning yang merusak in-context learning. Namun sebentar lagi kita akan melatih Transformer raksasa pada semua modalitas, semua string simbol yang bisa ditemukan
Namun video pada akhirnya tampak seperti visi yang berlapis. Mengapa visi atas frame-frame tidak bisa bekerja mirip dengan visi? Jawaban saat ini adalah memang belum bekerja, tetapi saya penasaran apakah ini karena neural network tidak mampu, atau karena kita belum menemukan cara pemodelan yang tepat
Saya tidak paham bagian yang mengatakan “Model populer seperti Prophet [Taylor and Letham, 2018] dan ARIMA dikecualikan dari analisis karena kebutuhan komputasinya berlebihan dan waktu pelatihannya lama”
Saya penasaran apakah orang yang banyak melakukan peramalan deret waktu bisa menjelaskannya lebih rinci
Saya pernah memakai ARIMA untuk tugas sederhana. Saya tidak tahu mengapa biaya pelatihan dan eksekusinya lebih mahal daripada model transformer, dan sekalipun itu benar, ARIMA sangat luas digunakan sehingga membandingkan sumber daya dan waktunya akan bermanfaat
Kalau tidak, ini terdengar seperti materi jualan, dan terlihat seperti melempar akronim yang sulit dipahami demi pemasaran gaya “saya ahlinya, abc xyz singkatan industri”
Menjawab kekhawatiran yang valid itu, ada beberapa alasan mengapa biaya komputasinya tinggi. Pertama, ARIMA dan metode “statistik” lain adalah model lokal, jadi untuk setiap deret waktu harus dilatih satu model yang berbeda. Sebaliknya, model machine learning dan deep learning adalah model global, jadi memakai “satu” model untuk semua deret waktu
Kedua, ARIMA biasanya tidak berkinerja baik pada kumpulan deret waktu yang beragam seperti dalam eksperimen ini. AutoARIMA adalah pilihan yang lebih baik, tetapi jika mempertimbangkan jumlah dan panjang deret waktunya, waktu pelatihannya menjadi jauh lebih lama. Selain itu, AutoARIMA cenderung menjadi sangat lambat pada deret waktu yang panjang
Singkatnya, menerapkan ARIMA pada 500 ribu deret waktu yang digunakan dalam benchmark secara harfiah akan memakan waktu berminggu-minggu dan biayanya juga akan sangat besar
Karena itu kami menyertakan beberapa model “statistik” lokal berkinerja baik seperti Theta dan CES. Untuk semua baseline, kami menggunakan implementasi dari ekosistem open source kami, termasuk StatsForecast, MLForecast, dan Neuralforecast. Kami berencana segera merilis set eksperimen yang dapat direproduksi pada subset yang lebih kecil
Kalau teknik peramalan dari tahun 1970-an dikecualikan dengan alasan “waktu pelatihan lama”, sulit untuk menganggap paper ini serius
Ada beberapa alasan yang bisa dijadikan dalih untuk mengecualikan ARIMA. Karena agar benar-benar bekerja dengan baik, perlu memasukkan informasi awal penting tentang deret waktu, misalnya periodisitas atau koreksi titik perubahan
Namun “komputasi berlebihan dan waktu pelatihan panjang” bukan alasan yang berlaku
Bagian itu terlihat agak sok, tetapi sisa papernya, terutama kemampuan zero-shot, sangat menarik jika terkonfirmasi. Saya berharap ini menjadi lebih mudah diakses daripada API bergaya “hubungi kami”, sehingga kita bisa membandingkannya sendiri dengan ARIMA dan lainnya
Ia memang punya banyak cacat dan keterbatasan, tetapi efisiensi komputasi bukan masalahnya
Paper ini isinya sangat tipis. Hampir tidak ada informasi tentang hal-hal penting, dan hanya memberi isyarat samar soal arsitektur dan data
Sebaliknya, ruangnya dipakai untuk hal-hal seperti rumus MAE atau diagram yang menggambarkan konsep pelatihan dan inferensi. Di mana-mana ada tanda bahaya
Saya Max dari Nixtla. Saya tidak menyangka akan mendapat perhatian sebanyak ini, dan senang melihat baik respons positif maupun kritis
Saya ingin memperjelas beberapa poin penting
Tujuan utama versi pertama paper ini adalah memperkenalkan TimeGPT-1, menampilkan hasil awal dari eksperimen skala besar, dan menunjukkan bahwa transfer learning pada skala ini memang memungkinkan untuk deret waktu. Seperti disebutkan dalam paper, kami sangat percaya bahwa model pra-latih dapat menjadi solusi yang sangat hemat biaya dari sisi sumber daya komputasi untuk banyak aplikasi. Selain itu, versi ini adalah preprint. Kami sedang menyiapkan set eksperimen yang dapat direproduksi untuk sebagian data, jadi mohon ditunggu
Semua pekerjaan Nixtla sebelumnya bersifat open source, dan kami melihat TimeGPT sebagai produk komersial yang layak dijalankan untuk langsung menyediakan peramalan dan deteksi anomali bagi praktisi. Beberapa detail menarik kami hilangkan karena merupakan keunggulan kompetitif untuk membantu pertumbuhan perusahaan, menyediakan solusi yang lebih baik, dan terus membangun ekosistem
Seperti yang dikatakan orang lain di thread ini, kami sedang berupaya meng-onboard sebanyak mungkin orang ke uji coba gratis agar lebih banyak praktisi independen dapat memvalidasi akurasinya pada use case mereka sendiri. Anda juga bisa melihat kesan awal dari pembuat Prophet https://x.com/seanjtaylor/status/1694745912776749296?s=20, tanggapan dari pembuat GluonTS https://www.linkedin.com/posts/tim-januschowski_foundational..., dan pengujian awal yang dilakukan orang-orang H20 https://youtu.be/N0gyDVUFPlg?si=xH8oy5cjgLm-o_WD&t=457. Kami berharap akan segera ada lebih banyak benchmark independen
Ketika akademisi memperingatkan bahwa “peer review itu penting” dan “jangan membaca preprint arxiv kalau Anda bukan ahli di bidang tersebut”, hal seperti inilah yang mereka maksud
Kalimat “Ketidakpastian adalah aspek hakiki kehidupan, sebuah konstanta yang tanpa lelah dihadapi dan dicoba dipahami oleh manusia” itu agak berlebihan
Bagus kalau melakukan sesuatu dengan sungguh-sungguh, tetapi kalau begitu setidaknya harus lebih puitis daripada dokumenter BBC
Sepertinya terkait?
Inverted Transformers Are Effective for Time Series Forecasting
https://news.ycombinator.com/item?id=37848321
Ini terlihat seperti materi pemasaran untuk produk https://www.nixtla.io/
Semoga saya keliru, tetapi tampaknya hanya sekitar 20~30% lebih baik dibanding model Seasonal Naive. Dengan tingkat seperti itu, kelihatannya tidak begitu berguna
Fakta bahwa ini zero-shot memang jelas mengesankan, tetapi dalam praktiknya sepertinya tidak banyak hal yang bisa dilakukan dengannya