按年被提到
20242024 · 2 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2404.00859 · cs.LG

Do language models plan ahead for future tokens?

语言模型会为未来的 token 提前规划吗?
Wilson Wu, John X. Morris, Lionel Levine · 2024

用短视训练检验 Transformer 的预缓存与面包屑假说

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2024-04-04 · 最近 2026-07-19
4不同的人
3活跃月份
4讨论串
6被引(OpenAlex)

已知 Transformer 在时间步 t 的隐藏状态里准备了供之后 t+τ 使用的信息。论文提出两种解释:预缓存(pre-caching),即训练中的非对角梯度项让模型计算对当前无关但对未来有用的特征;面包屑(breadcrumbs),即对 t 最有用的特征恰好也对 t+τ 最有益。作者用不向过去时间步传播梯度的短视训练来检验:在构造的合成数据中有明确的预缓存证据,在真实语言建模中更倾向面包屑,但预缓存随模型规模增大。

HN 为什么提它

HN 评论者提它是作为研究语言模型是否会向前规划的工作,认为尽管只在简单任务上展示,仍很有意思。

实证研究难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 与自回归语言模型
2反向传播与梯度
3隐藏状态与表示
4合成任务实验设计

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐x312 · 2026-07

“But this has only been shown on simple tasks, so I think this paper is still quite neat.”

认为它虽只在简单任务上得到验证,仍相当精巧,显示不同模型提前规划的长度不同
Coding agents think ahead of time原评论 ↗
引用elcomet · 2024-05

“In fact, some work have been investigating this, such as [1].”

指出已有工作研究语言模型是否为未来 token 提前规划
Better and Faster Large Language Models via Multi-Token Prediction原评论 ↗
被提交为 story · 2 次