按年被提到
20222024 · 3 次2026
机器学习与深度学习›时间序列与天气预报·arXiv:2205.13504 · cs.AI

Are Transformers Effective for Time Series Forecasting?

Transformer 对时间序列预测有效吗?
Ailing Zeng, Muxi Chen, Lei Zhang, Qiang Xu · 2022

极简的一层线性模型在长期时序预测上全面胜过 Transformer

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2023-04-10 · 最近 2025-12-23
6不同的人
6活跃月份
6讨论串
3,790被引(OpenAlex)

质疑基于 Transformer 的长期时间序列预测:自注意力的置换不变性不可避免地造成时间顺序信息的损失。为验证这一点,作者提出极简的单层线性模型 LTSF-Linear 作对比,在九个真实数据集上全面且常大幅超过复杂的 Transformer 模型,并对各设计要素如何影响时间关系提取做了实证研究。

HN 为什么提它

评论者用它说明在时间序列任务上,极简的线性模型可能胜过昂贵复杂的 Transformer,并指出 Transformer 在建模元素之间的时间关系上有天然短板。

实证研究难度 3 / 5约 30 分钟有时效性
读之前最好知道
1时间序列预测
2Transformer 与自注意力
3位置编码
4线性模型与基线对比

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立注意力与 Transformer 的核心机制,以及卷积和循环两类时序模型基线,再读为什么简单线性模型能胜过 Transformer。

  1. 1
    Neural Machine Translation by Jointly Learning to Align and Translate通过联合学习对齐与翻译实现神经机器翻译 · 2014

    Transformer 的自注意力思想的起点是这里的软对齐注意力。

    读注意力权重的计算与对齐的含义;不必深究翻译实验。

  2. 2
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    目标论文质疑的对象是基于 Transformer 的时序预测模型。

    读缩放点积注意力、多头注意力和位置编码;重点理解置换不变性与位置编码如何保留顺序信息。

  3. 3
    An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling通用卷积与循环网络在序列建模上的实证评估 · 2018

    它是序列建模中卷积网络对循环网络的实证对比,说明简单结构也可以强。

    读TCN 的结构(因果、膨胀卷积)及与 LSTM 的对比结论。

  4. 4

    DeepAR 是时间序列预测中的循环网络基线,目标论文把它放在相同任务背景里。

    读自回归循环网络的概率预测设定与训练方式。

  5. 5
    Are Transformers Effective for Time Series Forecasting?Transformer 对时间序列预测有效吗? · 2022 · 就是这篇

    目标论文:用单层线性模型挑战 Transformer 预测。

    读LSTF-Linear 的设计、与各 Transformer 变体的对比,以及对回看窗口等因素的消融。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐cye131 · 2025-06

“For those interested in transformers with time series, I recommend reading this paper: Are Transformers Effective for Time Series Forecasting?.”

推荐关注 Transformer 做时间序列的人读这篇
Time Series Forecasting with Graph Transformers原评论 ↗
引用spyder · 2023-04

“Yea, this paper says that the embarrassingly simple linear is better than transformers for time-series:”

指出这篇论文说明极简单的线性模型在时间序列上优于 Transformer
From Deep to Long Learning原评论 ↗
引用ipsum2 · 2024-02

“see Transformers in Time Series: A Survey [OTHER_PAPER] and Are Transformers Effective for Time Series Forecasting? Are Transformers Effective for Time Series Forecasting?”

把它列为早期时间序列 Transformer 工作的例子,并附一篇综述
A decoder-only foundation model for time-series forecasting原评论 ↗
引用dongobread · 2024-07

“The LTSF paper linked in the OP paper also mentions this same problem”

指出原帖链接的 LTSF 论文也提到了同样的问题
XLSTMTime: Long-Term Time Series Forecasting with xLSTM原评论 ↗
引用D-Machine · 2025-12

“where embarrassingly simple linear models blow overly-complicated and hugely expensive transformer models right out of the water.”

引用它说明极简单的线性模型在时间序列预测上远胜复杂昂贵的 Transformer
The Illustrated Transformer原评论 ↗
被提交为 story · 1 次