按年被提到
20262026 · 4 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2601.07372 · cs.CL

Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

通过可扩展查找实现条件记忆:大语言模型稀疏性的新维度
Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao 等 21 人 · 2026

提出 Engram:用 N-gram 嵌入 O(1) 查表,作为 MoE 之外的稀疏性轴

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2026-01-13 · 最近 2026-08-27发表于 Proceedings of the conference - Association for Computational Linguistics. Meeting
4不同的人
3活跃月份
4讨论串
21被引(OpenAlex)

论文指出 MoE 通过条件计算扩展容量,但 Transformer 缺少原生的知识查找原语,只能用计算低效地模拟检索。作者引入条件记忆作为互补的稀疏性维度,用 Engram 模块实现,即把经典的 N-gram 嵌入现代化,支持 O(1) 查找,并通过稀疏性分配问题发现神经计算(MoE)与静态记忆之间的 U 形缩放律。依此把 Engram 扩展到 27B 参数,在严格同参数、同 FLOPs 下优于 MoE 基线,且在通用推理、代码与数学上收益比知识检索任务更大,并显著提升长上下文检索。

HN 为什么提它

评论者把这篇 DeepSeek 论文当作基于查找的记忆这一方向的新进展来引用,并提到其自称是现代 MoE 架构的理想补充。

方法难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1混合专家(MoE)
2Transformer 架构
3N-gram 嵌入与哈希查找
4缩放定律(scaling law)
5FLOPs 与参数量的计算预算

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用arw0n · 2026-03

“See also the new Deepseek paper on engram transformers for some progress in this area: Conditional Memory via Scalable Lookup”

指出 DeepSeek 这篇 engram transformer 论文在这方面有进展
Intel Announces Arc Pro B70 and Arc Pro B65 GPUs原评论 ↗
引用kzrdude · 2026-08

“By the way; I found that DeepSeek says that it is even an "ideal complement to modern MoE architecture"”

补充说 DeepSeek 称它是现代 MoE 架构的理想补充
Qwen3.8-Flash-Next原评论 ↗
被提交为 story · 2 次