
Timer-XL: Decoder-only Transformer für längere Time-Series-Vorhersagen
Timer-XL ist ein Decoder-only Transformer-Modell der THUML-Arbeitsgruppe an der Tsinghua-Universität für Time-Series-Vorhersagen. Das Modell verbessert seinen Vorgänger Timer durch spezialisierte Optimierung auf die Forecasting-Aufgabe. Zentrale Merkmale sind: (1) flexible Eingabe-/Ausgabelängen ohne feste Annahmen an Kontext oder Vorhersagefenster, (2) das TimeAttention-Mechanismus für effiziente Long-Context-Verarbeitung, (3) Unterstützung univariater nicht-stationärer Reihen, multivariater Dynamiken und exogener Variablen in einem einheitlichen Setup. Im Vergleich mit anderen Foundation Models (MOIRAI bis 4K Token, TimesFM, Chronos) zeigt Timer-XL überlegene Performance über längere Kontexte hinweg. Das Paper demonstriert empirisch, dass Decoder-Architekturen für Forecasting überlegen sind – ein Ergebnis, das den Shift von Timers universalister Ausrichtung zu Timer-XLs Spezialisierung rechtfertigt. Timer-XL kann von Grund auf trainiert oder auf großen Datensätzen vortrainiert werden, optional mit anschließendem Fine-tuning.
- THUML-Laboratorium (Tsinghua) mit Vorgänger-Modellen iTransformer, TimesNet und Timer
- TimeAttention als zentraler Mechanismus für Long-Context-Handling mit variablen Eingabe-/Ausgabelängen
- Decoder-only-Architektur outperformed empirisch Encoder und Encoder-Decoder bei Forecasting-Tasks
- Verarbeitet bis ~8760 Datenpunkte pro Jahr für tägliche Datensätze, ideal für hochfrequente Vorhersagen
- Benchmarks zeigen überlegene Performance über MOIRAI (4K Token), TimesFM und Chronos in verschiedenen Kontextlängen
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org3w
Survey: Positional Encoding in Transformer-Modellen für Zeitreihendaten
- FORSCHUNGarxiv.org1w
Chronicle: 324M-Parameter-Modell für gemeinsames Sprach- und Zeitreihenverständnis
- FORSCHUNGarxiv.org2w
Ister: Linearer Transformer für effizientes multivariate Zeitreihen-Forecasting
- FORSCHUNGarxiv.org1w
XCTFormer: Transformer-Modell schlägt Baselines bei Zeitreihen-Imputation um 20,8 % MSE

Timer-XL: Decoder-only Transformer für längere Time-Series-Vorhersagen
Timer-XL ist ein Decoder-only Transformer-Modell der THUML-Arbeitsgruppe an der Tsinghua-Universität für Time-Series-Vorhersagen. Das Modell verbessert seinen Vorgänger Timer durch spezialisierte Optimierung auf die Forecasting-Aufgabe. Zentrale Merkmale sind: (1) flexible Eingabe-/Ausgabelängen ohne feste Annahmen an Kontext oder Vorhersagefenster, (2) das TimeAttention-Mechanismus für effiziente Long-Context-Verarbeitung, (3) Unterstützung univariater nicht-stationärer Reihen, multivariater Dynamiken und exogener Variablen in einem einheitlichen Setup. Im Vergleich mit anderen Foundation Models (MOIRAI bis 4K Token, TimesFM, Chronos) zeigt Timer-XL überlegene Performance über längere Kontexte hinweg. Das Paper demonstriert empirisch, dass Decoder-Architekturen für Forecasting überlegen sind – ein Ergebnis, das den Shift von Timers universalister Ausrichtung zu Timer-XLs Spezialisierung rechtfertigt. Timer-XL kann von Grund auf trainiert oder auf großen Datensätzen vortrainiert werden, optional mit anschließendem Fine-tuning.
- THUML-Laboratorium (Tsinghua) mit Vorgänger-Modellen iTransformer, TimesNet und Timer
- TimeAttention als zentraler Mechanismus für Long-Context-Handling mit variablen Eingabe-/Ausgabelängen
- Decoder-only-Architektur outperformed empirisch Encoder und Encoder-Decoder bei Forecasting-Tasks
- Verarbeitet bis ~8760 Datenpunkte pro Jahr für tägliche Datensätze, ideal für hochfrequente Vorhersagen
- Benchmarks zeigen überlegene Performance über MOIRAI (4K Token), TimesFM und Chronos in verschiedenen Kontextlängen
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org3w
Survey: Positional Encoding in Transformer-Modellen für Zeitreihendaten
- FORSCHUNGarxiv.org1w
Chronicle: 324M-Parameter-Modell für gemeinsames Sprach- und Zeitreihenverständnis
- FORSCHUNGarxiv.org2w
Ister: Linearer Transformer für effizientes multivariate Zeitreihen-Forecasting
- FORSCHUNGarxiv.org1w
XCTFormer: Transformer-Modell schlägt Baselines bei Zeitreihen-Imputation um 20,8 % MSE