引用arw0n · 2026-03
“See also the new Deepseek paper on engram transformers for some progress in this area: Conditional Memory via Scalable Lookup”
指出 DeepSeek 这篇 engram transformer 论文在这方面有进展
提出 Engram:用 N-gram 嵌入 O(1) 查表,作为 MoE 之外的稀疏性轴
论文指出 MoE 通过条件计算扩展容量,但 Transformer 缺少原生的知识查找原语,只能用计算低效地模拟检索。作者引入条件记忆作为互补的稀疏性维度,用 Engram 模块实现,即把经典的 N-gram 嵌入现代化,支持 O(1) 查找,并通过稀疏性分配问题发现神经计算(MoE)与静态记忆之间的 U 形缩放律。依此把 Engram 扩展到 27B 参数,在严格同参数、同 FLOPs 下优于 MoE 基线,且在通用推理、代码与数学上收益比知识检索任务更大,并显著提升长上下文检索。
评论者把这篇 DeepSeek 论文当作基于查找的记忆这一方向的新进展来引用,并提到其自称是现代 MoE 架构的理想补充。
“See also the new Deepseek paper on engram transformers for some progress in this area: Conditional Memory via Scalable Lookup”
“By the way; I found that DeepSeek says that it is even an "ideal complement to modern MoE architecture"”