“Reading the seminal paper[0] on Universal Transformers also gave some insights:”
Universal Transformers
把 Transformer 的并行性与 RNN 的循环归纳偏置结合起来
Transformer 这类前馈序列模型在复制字符串、当长度超出训练范围时做简单逻辑推理等任务上泛化失败,而循环模型却能轻松处理。论文提出通用 Transformer(UT):一种在时间上并行的自注意力循环序列模型,可视为 Transformer 的推广,结合了 Transformer 的并行性与全局感受野和 RNN 的循环归纳偏置,并加入逐位置的动态停机机制。在一定假设下 UT 可被证明图灵完备,在多种算法与语言理解任务上优于标准 Transformer,在 LAMBADA 上达到新的最好结果,在 WMT14 英德翻译上比 Transformer 高 0.9 BLEU。
评论者把它作为早期的循环式 Transformer(跨深度共享权重)引用,常在讨论递归或循环式小模型、说明这类想法早已有之时提到。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我建立 Universal Transformer 的前置知识:seq2seq 与 Transformer 的基础、算法任务与记忆网络,再看它如何把循环归纳偏置加到 Transformer 上。
- 1
循环 seq2seq 是 Universal Transformer 所对照的基本范式,理解它才看得出循环归纳偏置的位置。
读抓编码器-解码器与逐步循环状态的做法。
- 2
Universal Transformer 直接建立在 Transformer 之上,只是把层间的参数改为共享并加循环。
读抓多头自注意力、位置编码和编码器-解码器的整体结构。
- 3
- 4
bAbI 是目标论文用来评测推理能力的基准。
读抓任务的类型划分与评测方式,了解每个任务考察的推理能力。
- 5
- 6Universal Transformers
目标论文:以逐位置的循环加动态停止机制结合 Transformer 并行性与 RNN 的归纳偏置。
读抓层间参数共享的循环、ACT 动态停止(每个位置自适应的步数),以及算法任务和 bAbI 上的结果。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“I have some saved links introducing the topic:”
“the rest of the architecture is similar to Universal Transformers Universal Transformers”
“The idea has been around: Universal Transformers”
“Universal Transformers Universal Transformers”