引用puttycat · 2025-07
“If LLMs can't even do basic arithmetic [1,2,3]”
引它设想 LLM 连基本算术都做不好
机制分析显示 LLM 做算术靠一堆启发式神经元,而非算法
论文用算术推理作为代表任务,问 LLM 是学到了稳健可泛化的算法还是在记忆训练数据。通过因果分析,作者找出解释大部分基本算术行为的电路,并发现其中稀疏的重要神经元各自实现简单启发式:识别某种数值输入模式并输出相应答案。这些启发式类型(如操作数落在某个范围时激活)的无序组合能解释大部分算术准确率,且在训练早期就成为主要来源;结论是 LLM 做算术既不靠稳健算法,也不靠记忆,而是靠「启发式口袋」。
评论者在争论 LLM 能否做算术时引用它:一方用它说明 LLM 连基本算术都不可靠,另一方强调错误源于数字的概率性表示,并非完全不会。
“If LLMs can't even do basic arithmetic [1,2,3]”
“LLMs can in fact do arithmetic, just not reliably owing to how numbers are represented probabilistically: Arithmetic Without Algorithms”