推荐x312 · 2026-07
“But this has only been shown on simple tasks, so I think this paper is still quite neat.”
认为它虽只在简单任务上得到验证,仍相当精巧,显示不同模型提前规划的长度不同
用短视训练检验 Transformer 的预缓存与面包屑假说
已知 Transformer 在时间步 t 的隐藏状态里准备了供之后 t+τ 使用的信息。论文提出两种解释:预缓存(pre-caching),即训练中的非对角梯度项让模型计算对当前无关但对未来有用的特征;面包屑(breadcrumbs),即对 t 最有用的特征恰好也对 t+τ 最有益。作者用不向过去时间步传播梯度的短视训练来检验:在构造的合成数据中有明确的预缓存证据,在真实语言建模中更倾向面包屑,但预缓存随模型规模增大。
HN 评论者提它是作为研究语言模型是否会向前规划的工作,认为尽管只在简单任务上展示,仍很有意思。
“But this has only been shown on simple tasks, so I think this paper is still quite neat.”
“In fact, some work have been investigating this, such as [1].”