推荐carlovalenti · 2026-04
“don't miss the (formerly over-hyped) Google Research's Titans+Atlas thread, they are quite inspiring and informative on the subject”
推荐关注 Google 的 Titans 与 Atlas,认为对该主题很有启发
改进 Titans 的长期记忆模块,面向超长上下文
论文指出现有长期记忆类循环模型的不足来自三点:记忆容量受结构和特征映射限制、只针对最后一个输入做在线更新、固定大小记忆的管理不够有表达力。ATLAS 是高容量的长期记忆模块,基于当前和过去的 token 优化记忆;在此基础上提出 DeepTransformers 系列架构,是原始 Transformer 的严格推广。在语言建模、常识推理、强召回和长上下文任务上超过 Transformer 与近期线性循环模型,并把 Titans 在 BABILong 10M 上下文长度下的准确率提高了 80% 以上。
评论者把它与 Titans 一起列为“测试时记忆”这一新方向的代表,认为值得一读且有启发。
“don't miss the (formerly over-hyped) Google Research's Titans+Atlas thread, they are quite inspiring and informative on the subject”
“Per your point 4, some current hyped work is pushing hard in this direction [1, 2, 3].”