按年被提到
20252025 · 6 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2504.13171 · cs.AI

Sleep-time Compute: Beyond Inference Scaling at Test-time

睡眠时计算:超越测试时推理扩展
Kevin Lin, Charlie Snell, Yu Wang, Charles Packer, Sarah Wooders, Ion Stoica, Joseph E. Gonzalez · 2025

让模型在问题到来前离线“思考”上下文,测试时算力需求降约 5 倍。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 7 人首次 2025-04-21 · 最近 2026-05-26
7不同的人
4活跃月份
7讨论串
5被引(OpenAlex)

扩展测试时计算能帮助 LLM 解决难题,但延迟和推理成本很高。论文提出睡眠时计算:让模型在用户提问之前就离线“思考”上下文,预测可能的问题并预先算出有用的量。在作者改造的 Stateful GSM-Symbolic 和 Stateful AIME 上,达到相同准确率所需的测试时算力约减少 5 倍;继续扩大睡眠时计算还可再提高最多 13% 和 18% 的准确率。若把它摊到同一上下文的多个相关问题上(Multi-Query GSM-Symbolic),平均每个问题的成本可降低 2.5 倍;问题越可预测,效果越好,并附有一个智能体软件工程任务的案例研究。

HN 为什么提它

评论者引用它说明可以让 LLM 在问题出现之前先对给定上下文预计算,以减少推理时的算力,并与 Letta 团队的智能体记忆工作联系起来。

方法难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1测试时计算扩展(test-time compute scaling)
2大语言模型推理与链式思考
3GSM-Symbolic 与 AIME 数学基准
4LLM 智能体(agent)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用x-complexity · 2025-05

“Dummy calculations aren't even needed, if you allow the LLMs to pre-compute on the given context before inference:”

指出若允许 LLM 在推理前对给定上下文预计算,根本不需要虚设的计算
Will supercapacitors come to AI's rescue?原评论 ↗
引用pacjam · 2025-05

“we also worked on MemGPT and more recently sleep-time compute”

说明自己团队做过 MemGPT 和最近的 sleep-time compute,离线预计算上下文以降低测试时算力
Show HN: Muscle-Mem, a behavior cache for AI agents原评论 ↗
引用falcor84 · 2025-07

“from what I've seen of Letta's work and e.g. their recent paper on "sleep-time compute", they are really pushing this space forward.”

称赞 Letta 的工作,尤其是 sleep-time compute 论文,在推进这一领域
MemOS: A Memory OS for AI System原评论 ↗
引用swyx · 2026-05

“related preprint from the letta team Sleep-time Compute”

指出 Letta 团队的相关预印本,摘要称 sleep-time compute 约减少 5 倍测试时算力
Language Models Need Sleep原评论 ↗
被提交为 story · 3 次