按年被提到
20212022 · 3 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2112.00114 · cs.LG

Show Your Work: Scratchpads for Intermediate Computation with Language Models

展示你的计算过程:语言模型中间计算的草稿纸
Maxwell Nye, Anders Johan Andreassen, Guy Gur-Ari, Henryk Michalewski, Jacob Austin, David Bieber, David Dohan, Aitor Lewkowycz, Maarten Bosma, David Luan, Charles Sutton, Augustus Odena · 2021

让语言模型把中间步骤写到草稿纸上,显著提升多步计算能力

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2022-02-08 · 最近 2026-04-05
5不同的人
5活跃月份
6讨论串
297被引(OpenAlex)

大型预训练语言模型擅长一次完成的任务,但做整数加法、执行程序这类需要无界多步计算的任务就很吃力。论文发现,这些模型在被要求一步一步、展示中间计算结果时,即使在少样本设定下也能完成复杂的多步计算。作者让 Transformer 把中间步骤输出到「草稿纸(scratchpad)」里,在从长加法到执行任意程序等一系列日益复杂的任务上,草稿纸显著提升了语言模型的多步计算能力。

HN 为什么提它

HN 评论者把它当作 chain-of-thought 一类做法的早期例证来引用:让模型把中间计算写出来,能大幅提升算术和预测代码输出的准确率,是后续研究时间线的第一步。

实证研究难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 语言模型
2少样本提示(few-shot prompting)
3多步推理与算法执行
4微调与序列生成

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你理解语言模型难以做多步计算的原因:先看 Transformer 与 GPT-3,再看让网络学会执行程序、循环计算的先行工作,最后读草稿纸方法。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    草稿纸方法训练和提示的对象就是 Transformer 解码器。

    读自注意力与自回归生成,理解为何单次前向计算量有限。

  2. 2
    Learning to Execute学习执行 · 2014

    最早的让网络学习执行程序和加法的工作,任务设置与草稿纸相近。

    读任务设计、课程学习与失败模式。

  3. 3

    把程序执行分解成子程序调用,是显式中间步骤的另一种思路。

    读如何通过分步调用完成计算,与草稿纸对比。

  4. 4
    Universal Transformers通用 Transformer · 2018

    通过循环加深计算深度,是解决多步计算的另一路线。

    读深度方向的循环与每步计算的概念。

  5. 5
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    草稿纸在少样本提示下也有效,需要了解 GPT-3 的提示用法。

    读少样本提示的设置,以及算术任务上的表现。

  6. 6

    同团队的大模型程序合成工作,包含让模型预测程序执行结果的实验。

    读程序执行预测的结果,以及模型规模与效果的关系。

  7. 7
    Show Your Work: Scratchpads for Intermediate Computation with Language Models展示你的计算过程:语言模型中间计算的草稿纸 · 2021 · 就是这篇

    目标论文:把中间步骤写到草稿纸上,提升多步计算能力。

    读草稿纸格式、加法与程序执行任务,以及少样本与微调的结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用moyix · 2022-02

“they are bad at things like predicting what the output of some code will be: Show Your Work”

指出模型不擅长预测代码输出,Scratchpads 论文研究了这点
AlphaCode as a dog speaking mediocre English原评论 ↗
引用moyix · 2022-02

“allows them to do much better not just at arithmetic but also things like predicting the output of some code: Show Your Work”

引用它说明草稿纸让模型不仅算术更好,还更会预测代码输出
I asked GPT-NeoX-20B a hundred arithmetic questions原评论 ↗
引用jncraton · 2023-03

“Here's one example from 2021 demonstrating training an LLM to use a scratchpad ("talking to itself") to greatly improve accuracy on arithmetic problems:”

举 2021 年的例子:训练 LLM 用草稿纸自言自语,大幅提高算术准确率
ChatGPT has trouble giving an answer before explaining its reasoning原评论 ↗
引用sync · 2025-11

“I understand scratchpads (e.g. [0] Show Your Work: Scratchpads for Intermediate Computation with Language Models)”

以 Scratchpads 论文为例,说明自己理解草稿纸方法
Claude Opus 4.5原评论 ↗
引用Chance-Device · 2026-04

“I think these pretty much map out a little chronology of the research:”

把它列为这条研究时间线的起点,展示草稿纸的重要性
Talk like caveman原评论 ↗
被提交为 story · 1 次