按年被提到
20182025 · 4 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:1807.03819 · cs.CL

Universal Transformers

通用 Transformer
Mostafa Dehghani, Stephan Gouws, Oriol Vinyals, Jakob Uszkoreit, Łukasz Kaiser · 2018

把 Transformer 的并行性与 RNN 的循环归纳偏置结合起来

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2019-09-16 · 最近 2025-12-23
5不同的人
4活跃月份
4讨论串
440被引(OpenAlex)

Transformer 这类前馈序列模型在复制字符串、当长度超出训练范围时做简单逻辑推理等任务上泛化失败,而循环模型却能轻松处理。论文提出通用 Transformer(UT):一种在时间上并行的自注意力循环序列模型,可视为 Transformer 的推广,结合了 Transformer 的并行性与全局感受野和 RNN 的循环归纳偏置,并加入逐位置的动态停机机制。在一定假设下 UT 可被证明图灵完备,在多种算法与语言理解任务上优于标准 Transformer,在 LAMBADA 上达到新的最好结果,在 WMT14 英德翻译上比 Transformer 高 0.9 BLEU。

HN 为什么提它

评论者把它作为早期的循环式 Transformer(跨深度共享权重)引用,常在讨论递归或循环式小模型、说明这类想法早已有之时提到。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1Transformer 架构
2循环神经网络(RNN)
3自注意力(self-attention)
4自适应计算与停机机制(ACT)

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立 Universal Transformer 的前置知识:seq2seq 与 Transformer 的基础、算法任务与记忆网络,再看它如何把循环归纳偏置加到 Transformer 上。

  1. 1
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    循环 seq2seq 是 Universal Transformer 所对照的基本范式,理解它才看得出循环归纳偏置的位置。

    读抓编码器-解码器与逐步循环状态的做法。

  2. 2
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    Universal Transformer 直接建立在 Transformer 之上,只是把层间的参数改为共享并加循环。

    读抓多头自注意力、位置编码和编码器-解码器的整体结构。

  3. 3
    Learning to Execute学习执行 · 2014

    Learning to Execute 的任务是目标论文评测算法能力的任务来源之一。

    读抓该任务的设置(程序执行、加法),便于看懂实验。

  4. 4
    Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks迈向 AI 完备的问答:一组前置玩具任务 · 2015

    bAbI 是目标论文用来评测推理能力的基准。

    读抓任务的类型划分与评测方式,了解每个任务考察的推理能力。

  5. 5
    End-To-End Memory Networks端到端记忆网络 · 2015

    端记忆网络是 bAbI 上的代表性方法,可作为目标论文的对比。

    读抓多跳注意力读取记忆的机制,类比 UT 的多步循环。

  6. 6
    Universal Transformers通用 Transformer · 2018 · 就是这篇

    目标论文:以逐位置的循环加动态停止机制结合 Transformer 并行性与 RNN 的归纳偏置。

    读抓层间参数共享的循环、ACT 动态停止(每个位置自适应的步数),以及算法任务和 bAbI 上的结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐omneity · 2025-12

“Reading the seminal paper[0] on Universal Transformers also gave some insights:”

称读这篇开创性论文也有启发,Transformer 并行加 RNN 递归
Universal Reasoning Model (53.8% pass 1 ARC1 and 16.0% ARC 2)原评论 ↗
引用kuu · 2019-09

“I have some saved links introducing the topic:”

说自己存有一些介绍该主题的链接
Attention Mechanism in Deep Learning原评论 ↗
引用ed · 2025-08

“the rest of the architecture is similar to Universal Transformers Universal Transformers”

说其余架构与 Universal Transformer 相似
The Drivers of HRM's Performance on Arc-AGI原评论 ↗
引用shawntan · 2025-10

“The idea has been around: Universal Transformers”

指出这个想法早已有之,早于递归小模型
Less is more: Recursive reasoning with tiny networks原评论 ↗
引用atrudeau · 2025-10

“Universal Transformers Universal Transformers”

把它列为早期的递归 Transformer 工作
Less is more: Recursive reasoning with tiny networks原评论 ↗