按年被提到
20242024 · 3 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:2407.04620 · cs.LG

Learning to (Learn at Test Time): RNNs with Expressive Hidden States

学习(在测试时学习):具有表达力隐藏状态的 RNN
Yu Sun, Xinhao Li, Karan Dalal, Jiarui Xu, Arjun Vikram, Genghan Zhang, Yann Dubois, Xinlei Chen, Xiaolong Wang, Sanmi Koyejo, Tatsunori Hashimoto, Carlos Guestrin · 2024

让 RNN 的隐藏状态本身是一个模型,测试时也用自监督更新

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2024-07-08 · 最近 2025-05-31
4不同的人
4活跃月份
5讨论串
53被引(OpenAlex)

自注意力在长上下文上表现好但复杂度是平方的,现有 RNN 层复杂度是线性的,却受限于隐藏状态的表达力。论文提出测试时训练(TTT)层:把隐藏状态设为一个机器学习模型,更新规则是一步自监督学习,因此即使在测试序列上也在训练。实例有 TTT-Linear 和 TTT-MLP,在 125M 到 1.3B 参数规模上与 Transformer 和 Mamba 比较;TTT 能随上下文变长继续降低困惑度,而 Mamba 在 16k 之后不能,TTT-MLP 仍面临内存 I/O 挑战。

HN 为什么提它

评论者把 TTT 当作线性 RNN 谱系中的一支,并指出它与 Titans 的共同前提是让模型在上下文中学习而非死记。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 与自注意力的二次复杂度
2循环神经网络(RNN)与状态空间模型(Mamba)
3自监督学习
4语言模型困惑度(perplexity)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐karan-dalal · 2024-07

“our paper does a great job explaining the method in depth”

称自己的论文深入讲清了该方法:隐藏状态本身是测试时训练的模型
Show HN: Learning to (Learn at Test Time)原评论 ↗
推荐arjvik · 2024-11

“Test-Time Training is incredibly powerful.”

称测试时训练(TTT)非常强大
The surprising effectiveness of test-time training for abstract reasoning [pdf]原评论 ↗
引用korbip · 2025-02

“[11] Learning to (Learn at Test Time)”

把它列为线性 RNN 谱系中的一项(TTT)
Ask HN: Is anybody building an alternative transformer?原评论 ↗
引用arjvik · 2025-05

“The Titans papers and the Test-Time Training papers both have the same premise”

指出 Titans 与测试时训练论文前提相同:模型在上下文中学习而非死记
Atlas: Learning to Optimally Memorize the Context at Test Time原评论 ↗
被提交为 story · 1 次