引用gwern · 2024-05
“This has already been demonstrated by "Teaching Arithmetic to Small Transformers" Teaching Arithmetic to Small Transformers”
指出这篇论文已经证明过:小型 Transformer 能学会算术
数据格式与思维链数据能让小 Transformer 从零学会算术
论文研究从随机初始化开始、仅用下一词预测目标训练的小型 Transformer,如何学会加法、乘法和平方根等运算。作者发现常规训练数据并非学习算术的最佳选择,简单的格式改动就能显著提高准确率,并带来随训练数据量出现的急剧相变,部分情形可用低秩矩阵补全来解释。加入包含中间步骤结果的思维链风格数据,即使完全不预训练,也能同时显著改善准确率、样本复杂度和收敛速度;文中还讨论了长度泛化的困难,强调为下一词预测目标设计高质量、有指导性的数据的重要性。
评论者用它反驳“Transformer 根本无法学会算术”的说法,说明小模型借助数据格式和思维链数据就能学会。
“This has already been demonstrated by "Teaching Arithmetic to Small Transformers" Teaching Arithmetic to Small Transformers”
“fundamental inability ? No.”