按年被提到
20242025 · 9 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2501.00663 · cs.LG

Titans: Learning to Memorize at Test Time

Titans:在测试时学习记忆
Ali Behrouz, Peilin Zhong, Vahab Mirrokni · 2024

给注意力配上测试时更新的神经长期记忆模块

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 12 人首次 2025-01-13 · 最近 2026-04-28
12不同的人
6活跃月份
11讨论串
72被引(OpenAlex)

论文提出一个神经长期记忆模块,在测试时学习记忆历史上下文,让注意力专注当前上下文的同时利用久远信息:注意力相当于短期记忆,神经记忆相当于更持久的长期记忆。据此给出 Titans 架构家族及三种记忆接入方式的变体。在语言建模、常识推理、基因组学和时间序列任务上优于 Transformer 和近期线性循环模型,并能扩展到超过 200 万的上下文长度,在大海捞针任务上准确率更高。

HN 为什么提它

评论者把它当作谷歌在「测试时学习记忆、更接近持续学习」方向上的代表作,用来谈长上下文记忆、线性 RNN 谱系以及注意力的新理解。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 与注意力机制
2循环神经网络与线性循环模型(linear RNN)
3上下文长度与二次复杂度
4在线学习与梯度下降

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐carlovalenti · 2026-04

“don't miss the (formerly over-hyped) Google Research's Titans+Atlas thread, they are quite inspiring and informative on the subject”

推荐关注 Google 的 Titans 与 Atlas,认为对该主题很有启发
Show HN: AI memory with biological decay (52% recall)原评论 ↗
引用mkroman · 2025-01

“There's still a lot of happening to improve memory, like the latest Titans paper: Titans”

举 Titans 为记忆改进的最新例子,测试时学习记忆
Qwen2.5-1M: Deploy your own Qwen with context length up to 1M tokens原评论 ↗
引用korbip · 2025-02

“[13] Titans”

把 Titans 引作 linear-RNN 脉络中的一项工作
Ask HN: Is anybody building an alternative transformer?原评论 ↗
引用tkgally · 2025-02

“The paper the article is based on [1] treats”

指出这是文章依据的原论文,称其表达力超过 Transformer
Google Titans Model Explained: The Future of Memory-Driven AI Architectures原评论 ↗
引用imjonse · 2025-02

“Something like this, using Simon Willison's llm cli, will give you a better experience than such generated articles unless your goal is explicitly to read blogs.”

建议用 LLM 命令行读 Titans 论文,而不是看生成的博客文章
Google Titans Model Explained: The Future of Memory-Driven AI Architectures原评论 ↗
引用okdood64 · 2025-12

“From the blog:”

引用博客介绍 Titans 是 Google 开放研究的长期记忆架构
Google Titans architecture, helping AI have long-term memory原评论 ↗
看全部 9 条 →
引用mycall · 2025-12

“Have you looked at Titan and MIRAS where they use online/updating associative memory that happens to be read out via next-token prediction?”

问对方是否看过 Titans 和 MIRAS 这类在线更新联想记忆并经 next-token prediction 读出的工作
The dawn of a world simulator原评论 ↗
引用psb217 · 2026-01

“Per your point 4, some current hyped work is pushing hard in this direction [1, 2, 3].”

指出当前热门工作正朝测试时学习联想记忆的方向推进,把它视为 attention 的一种看法
The Q, K, V Matrices原评论 ↗
引用andy12_ · 2026-03

“If anything, I think that Google's Titans[1] and Hope[2] architectures are more aligned with true continual learning”

认为 Titans 在测试时记忆,比其他方案更接近真正的持续学习
Yann LeCun's AI startup raises $1B in Europe's largest ever seed round原评论 ↗
被提交为 story · 3 次