批评riku_iki · 2024-10
“I also think most of the accuracy came from memorization of training set”
给每个数位加相对位置嵌入,让 Transformer 外推到 100 位加法
论文认为 Transformer 算术差的主要原因是无法追踪长数字串中每一位的确切位置,于是为每个数字加上编码其相对数字起点位置的嵌入。仅用 20 位数训练、单 GPU 一天,就在 100 位加法上达到最高 99% 的准确率;配合输入注入和循环层还能进一步提升,并改善排序与乘法等多步推理任务。
评论者以它回应“Transformer 根本做不了算术”的说法,同时也有人质疑其准确率可能来自对训练集的记忆。
“I also think most of the accuracy came from memorization of training set”
“fundamental inability ? No.”