按年被提到
20242024 · 4 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2405.17399 · cs.LG

Transformers Can Do Arithmetic with the Right Embeddings

用对的嵌入,Transformer 也能做算术
Sean McLeish, Arpit Bansal, Alex Stein, Neel Jain, John Kirchenbauer, Brian R. Bartoldson, Bhavya Kailkhura, Abhinav Bhatele, Jonas Geiping, Avi Schwarzschild, Tom Goldstein · 2024

给每个数位加相对位置嵌入,让 Transformer 外推到 100 位加法

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2024-05-28 · 最近 2024-10-01
4不同的人
3活跃月份
3讨论串
17被引(OpenAlex)

论文认为 Transformer 算术差的主要原因是无法追踪长数字串中每一位的确切位置,于是为每个数字加上编码其相对数字起点位置的嵌入。仅用 20 位数训练、单 GPU 一天,就在 100 位加法上达到最高 99% 的准确率;配合输入注入和循环层还能进一步提升,并改善排序与乘法等多步推理任务。

HN 为什么提它

评论者以它回应“Transformer 根本做不了算术”的说法,同时也有人质疑其准确率可能来自对训练集的记忆。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 架构
2位置编码(positional encoding)
3长度外推(length extrapolation)
4循环层与输入注入

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评riku_iki · 2024-10

“I also think most of the accuracy came from memorization of training set”

AGI is far from inevitable原评论 ↗
引用famouswaffles · 2024-09

“fundamental inability ? No.”

引它反驳 Transformer 有根本性缺陷的说法:嵌入对了就能做算术
AGI is far from inevitable原评论 ↗
被提交为 story · 2 次