按年被提到
20242024 · 1 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2410.21272 · cs.CL

Arithmetic Without Algorithms: Language Models Solve Math With a Bag of Heuristics

没有算法的算术:语言模型靠「启发式口袋」解数学题
Yaniv Nikankin, Anja Reusch, Aaron Mueller, Yonatan Belinkov · 2024

机制分析显示 LLM 做算术靠一堆启发式神经元,而非算法

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2024-11-28 · 最近 2026-09-27
3不同的人
3活跃月份
2讨论串
21被引(OpenAlex)

论文用算术推理作为代表任务,问 LLM 是学到了稳健可泛化的算法还是在记忆训练数据。通过因果分析,作者找出解释大部分基本算术行为的电路,并发现其中稀疏的重要神经元各自实现简单启发式:识别某种数值输入模式并输出相应答案。这些启发式类型(如操作数落在某个范围时激活)的无序组合能解释大部分算术准确率,且在训练早期就成为主要来源;结论是 LLM 做算术既不靠稳健算法,也不靠记忆,而是靠「启发式口袋」。

HN 为什么提它

评论者在争论 LLM 能否做算术时引用它:一方用它说明 LLM 连基本算术都不可靠,另一方强调错误源于数字的概率性表示,并非完全不会。

实证研究难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1Transformer 架构
2机制可解释性与电路分析(circuit analysis)
3因果干预(activation patching)
4神经元激活与 MLP 层

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用puttycat · 2025-07

“If LLMs can't even do basic arithmetic [1,2,3]”

引它设想 LLM 连基本算术都做不好
Show HN: Trying to eat better? I built a nutrional assistant原评论 ↗
引用dcrazy · 2026-09

“LLMs can in fact do arithmetic, just not reliably owing to how numbers are represented probabilistically: Arithmetic Without Algorithms”

引它说明 LLM 其实会算术,只是数字的概率式表示让它不可靠
被提交为 story · 1 次