“For those interested in transformers with time series, I recommend reading this paper: Are Transformers Effective for Time Series Forecasting?.”
Are Transformers Effective for Time Series Forecasting?
极简的一层线性模型在长期时序预测上全面胜过 Transformer
质疑基于 Transformer 的长期时间序列预测:自注意力的置换不变性不可避免地造成时间顺序信息的损失。为验证这一点,作者提出极简的单层线性模型 LTSF-Linear 作对比,在九个真实数据集上全面且常大幅超过复杂的 Transformer 模型,并对各设计要素如何影响时间关系提取做了实证研究。
评论者用它说明在时间序列任务上,极简的线性模型可能胜过昂贵复杂的 Transformer,并指出 Transformer 在建模元素之间的时间关系上有天然短板。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我建立注意力与 Transformer 的核心机制,以及卷积和循环两类时序模型基线,再读为什么简单线性模型能胜过 Transformer。
- 1
Transformer 的自注意力思想的起点是这里的软对齐注意力。
读注意力权重的计算与对齐的含义;不必深究翻译实验。
- 2
目标论文质疑的对象是基于 Transformer 的时序预测模型。
读缩放点积注意力、多头注意力和位置编码;重点理解置换不变性与位置编码如何保留顺序信息。
- 3
它是序列建模中卷积网络对循环网络的实证对比,说明简单结构也可以强。
读TCN 的结构(因果、膨胀卷积)及与 LSTM 的对比结论。
- 4
DeepAR 是时间序列预测中的循环网络基线,目标论文把它放在相同任务背景里。
读自回归循环网络的概率预测设定与训练方式。
- 5Are Transformers Effective for Time Series Forecasting?
目标论文:用单层线性模型挑战 Transformer 预测。
读LSTF-Linear 的设计、与各 Transformer 变体的对比,以及对回看窗口等因素的消融。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Yea, this paper says that the embarrassingly simple linear is better than transformers for time-series:”
“see Transformers in Time Series: A Survey [OTHER_PAPER] and Are Transformers Effective for Time Series Forecasting? Are Transformers Effective for Time Series Forecasting?”
“The LTSF paper linked in the OP paper also mentions this same problem”
“where embarrassingly simple linear models blow overly-complicated and hugely expensive transformer models right out of the water.”
- Are Transformers Effective for Time Series Forecasting? ↗rsecora · 2024-01-29 · 3 分