按年被提到
20252026 · 2 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2505.23735 · cs.CL

ATLAS: Learning to Optimally Memorize the Context at Test Time

ATLAS:学习在测试时最优地记忆上下文
Ali Behrouz, Zeman Li, Praneeth Kacham, Majid Daliri, Yuan Deng, Peilin Zhong, Meisam Razaviyayn, Vahab Mirrokni · 2025

改进 Titans 的长期记忆模块,面向超长上下文

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2025-05-31 · 最近 2026-04-28
3不同的人
3活跃月份
3讨论串
6被引(OpenAlex)

论文指出现有长期记忆类循环模型的不足来自三点:记忆容量受结构和特征映射限制、只针对最后一个输入做在线更新、固定大小记忆的管理不够有表达力。ATLAS 是高容量的长期记忆模块,基于当前和过去的 token 优化记忆;在此基础上提出 DeepTransformers 系列架构,是原始 Transformer 的严格推广。在语言建模、常识推理、强召回和长上下文任务上超过 Transformer 与近期线性循环模型,并把 Titans 在 BABILong 10M 上下文长度下的准确率提高了 80% 以上。

HN 为什么提它

评论者把它与 Titans 一起列为“测试时记忆”这一新方向的代表,认为值得一读且有启发。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 架构与注意力机制
2线性循环模型(linear RNN)
3联想记忆(associative memory)
4在线优化与梯度下降

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐carlovalenti · 2026-04

“don't miss the (formerly over-hyped) Google Research's Titans+Atlas thread, they are quite inspiring and informative on the subject”

推荐关注 Google 的 Titans 与 Atlas,认为对该主题很有启发
Show HN: AI memory with biological decay (52% recall)原评论 ↗
引用psb217 · 2026-01

“Per your point 4, some current hyped work is pushing hard in this direction [1, 2, 3].”

指出当前热门工作正朝测试时学习联想记忆的方向推进
The Q, K, V Matrices原评论 ↗
被提交为 story · 1 次