pibitek.biz -Google Research baru saja mengumumkan TimesFM, sebuah model dasar AI berbasis Transformer untuk ramalan data waktu (time-series). TimesFM memiliki 200 juta parameter dan dilatih dengan hampir 100 miliar data. TimesFM bisa meramal data waktu tanpa perlu belajar lagi, dan hasilnya setara atau lebih baik dari model-model lain.
2 – Strategi AI Generatif Apple: Fokus di Perangkat 2 – Strategi AI Generatif Apple: Fokus di Perangkat
3 – Cucu Oppenheimer Minta Aksi Global AI dan Ancaman Lain 3 – Cucu Oppenheimer Minta Aksi Global AI dan Ancaman Lain
TimesFM menggunakan arsitektur transformer tanpa enkoder, mirip dengan LLM seperti ChatGPT. Dalam arsitektur ini, data waktu yang pendek dianggap sebagai token, baik untuk masukan maupun keluaran model. Para peneliti melatih model ini dengan data nyata, dari Wikipedia dan tren pencarian Google, serta data buatan.
Ketika mereka menguji kinerja model ini tanpa belajar lagi pada beberapa data acuan, TimesFM mengalahkan metode statistik tradisional seperti ARIMA dan EMA, juga model pembelajaran mendalam yang sudah dilatih dengan data acuan. Menurut Google, ramalan data waktu adalah alat penting untuk banyak bidang, seperti penjualan ritel, meteorologi, dan produksi energi. Kemajuan terbaru dalam pembelajaran mendalam telah menghasilkan model seperti DeepAR, yang bisa mengungguli teknik-teknik lama.
Namun, model-model ini biasanya membutuhkan pelatihan dengan data spesifik tugas. Penggunaan LLM sebagai model dasar dan kemampuannya melakukan banyak tugas tanpa belajar lagi, termasuk ramalan data waktu, menjadi inspirasi para peneliti Google untuk mengembangkan TimesFM dengan arsitektur Transformer yang menjadi dasar LLM. Karena Transformer bekerja dengan token diskrit, lapisan pertama dalam model TimesFM memetakan rangkaian data waktu yang pendek, atau potongan, menjadi vektor token; seperti LLM, vektor penanda posisi ditambahkan ke vektor token ini.
Vektor ini dilewatkan ke tumpukan beberapa lapisan perhatian-diri untuk menghasilkan token keluaran. Akhirnya, token keluaran diubah menjadi potongan data waktu; namun, panjang potongan keluaran bisa lebih panjang dari potongan masukan, yang memungkinkan model meramal rangkaian keluaran yang lebih panjang dengan pemanggilan auto-regresif yang lebih sedikit. Tim Google mengevaluasi TimesFM tanpa belajar lagi pada beberapa data publik: Monash, Darts, dan Informer.
Mereka mengukur kesalahan absolut rata-rata (MAE) dan membandingkannya dengan beberapa model dasar serta GPT-3. Pada Monash, TimesFM berada di "tiga besar" model. Untuk Darts, TimesFM "dalam batas signifikansi statistik dari model terbaik", dan pada Informer TimesFM mengungguli semua model lain.
