按年被提到
20232023 · 2 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2307.03381 · cs.LG

Teaching Arithmetic to Small Transformers

教小型 Transformer 学算术
Nayoung Lee, Kartik Sreenivasan, Jason D. Lee, Kangwook Lee, Dimitris Papailiopoulos · 2023

数据格式与思维链数据能让小 Transformer 从零学会算术

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-07-10 · 最近 2024-09-30
4不同的人
3活跃月份
4讨论串
21被引(OpenAlex)

论文研究从随机初始化开始、仅用下一词预测目标训练的小型 Transformer,如何学会加法、乘法和平方根等运算。作者发现常规训练数据并非学习算术的最佳选择,简单的格式改动就能显著提高准确率,并带来随训练数据量出现的急剧相变,部分情形可用低秩矩阵补全来解释。加入包含中间步骤结果的思维链风格数据,即使完全不预训练,也能同时显著改善准确率、样本复杂度和收敛速度;文中还讨论了长度泛化的困难,强调为下一词预测目标设计高质量、有指导性的数据的重要性。

HN 为什么提它

评论者用它反驳“Transformer 根本无法学会算术”的说法,说明小模型借助数据格式和思维链数据就能学会。

实证研究难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1Transformer 架构
2下一词预测训练
3思维链(chain-of-thought)
4长度泛化(length generalization)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用gwern · 2024-05

“This has already been demonstrated by "Teaching Arithmetic to Small Transformers" Teaching Arithmetic to Small Transformers”

指出这篇论文已经证明过:小型 Transformer 能学会算术
Transformers Can Do Arithmetic with the Right Embeddings原评论 ↗
引用famouswaffles · 2024-09

“fundamental inability ? No.”

引它反驳“根本性无能”的说法:小型 Transformer 能学会算术
AGI is far from inevitable原评论 ↗
被提交为 story · 2 次