按年被提到
20252026 · 3 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2502.00873 · cs.AI

Language Models Use Trigonometry to Do Addition

语言模型用三角函数做加法
Subhash Kantamneni, Max Tegmark · 2025

数字在LLM里以螺旋线表示,用“时钟”算法做加法

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2025-02-04 · 最近 2026-10-02
5不同的人
5活跃月份
5讨论串
16被引(OpenAlex)

作者逆向分析三个中等规模大模型如何做加法。首先发现数字在模型里被表示成一种广义螺旋线(generalized helix),它对加减法有强因果影响,对整数除法、乘法和模运算也有因果相关性。随后提出模型通过“Clock”算法操作螺旋线来计算 a+b:把 a、b 的螺旋线变换成 a+b 的答案螺旋线,再读出为 logits;他们用这些螺旋线建模关键的 MLP 输出、注意力头输出乃至单个神经元预激活,并用因果干预验证。这是对大模型数学能力的首个表征层面的解释。

HN 为什么提它

HN 评论者用它说明大模型做加法时用的是三角函数式的内部特征,而不是记住答案,并泛化到训练数据之外。

实证研究难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1机械可解释性(mechanistic interpretability)
2Transformer 中的 MLP 与注意力头
3因果干预与激活修补(activation patching)
4傅里叶特征与三角函数

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用EMIRELADERO · 2025-04

“the single consistent finding across different models is that they generalize beyond the training data for at least those simple arithmetic operations.”

指出不同模型一致表明,至少简单算术上它们能泛化到训练数据之外
AI coding and the peanut butter and jelly problem原评论 ↗
引用dist-epoch · 2026-08

“There have been multiple studies on how LLMs add numbers.”

指出已有多项研究探讨 LLM 如何做加法,包括这篇
Models Are Getting Dumber on Purpose原评论 ↗
引用strangecasts · 2026-09

“functional analyses which have identified how LLMs do arithmetic - Language Models Use Trigonometry to Do Addition - and how refusal happens: [OTHER_PAPER]”

把它作为功能性分析的例子,揭示了 LLM 如何做算术
US Military had close call after using AI for hallucinated intelligence report原评论 ↗
引用dvt · 2026-10

“Models do have some emergent capabilities[1]”

拿它说明模型确有一些涌现能力
How accurately calibrated is Jev?原评论 ↗
被提交为 story · 1 次