按年被提到
20212023 · 4 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2102.11174 · cs.LG

Linear Transformers Are Secretly Fast Weight Programmers

线性 Transformer 其实是快速权重编程器
Imanol Schlag, Kazuki Irie, Jürgen Schmidhuber · 2021

证明线性注意力与上世纪 90 年代的快速权重编程器形式等价

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2023-05-01 · 最近 2025-02-15
5不同的人
5活跃月份
4讨论串
72被引(OpenAlex)

证明线性化自注意力与 90 年代初的快速权重控制器形式上等价:慢速网络通过梯度下降学习,用键值外积序列去编程快速网络的权重。据此指出线性 softmax 注意力变体的记忆容量有限,把纯加性外积换成类 delta 规则的更新以便修正键值映射,并提出新的注意力线性化核函数,在合成检索、机器翻译和语言建模上验证了收益。

HN 为什么提它

HN 上的人引用它说明 Transformer 可看作在编程其他网络的权重,并作为 DeltaNet 等线性 RNN 路线的源头,也涉及对 Schmidhuber 先行性的讨论。

奠基之作难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 自注意力机制
2线性注意力(linear attention)
3外积与联想记忆
4delta 规则
5RNN 基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐KirillPanov · 2023-10

“For the rest, you'll want to read the paper: Linear Transformers Are Secretly Fast Weight Programmers”

建议想了解其余内容就读这篇论文,讲 Transformer 即快速权重编程器
How Transformers Work原评论 ↗
推荐KirillPanov · 2023-10

“Also if you like maths, equations (4)-(19) from Linear Transformers Are Secretly Fast Weight Programmers are a really spectacular example of using math when it's the right way to explain something, instead of using it to hide things.”

称论文公式 4-19 是在恰当地用数学解释而非掩饰的出色范例
How Transformers Work原评论 ↗
引用cma · 2023-05

“Schmidhuber claims to have invented something formally equivalent to the linear Transformer architecture (slightly weaker) years before:”

指出 Schmidhuber 声称多年前已发明与线性 Transformer 形式上等价的东西
Geoffrey Hinton leaves Google and can now speak freely about his AI concern原评论 ↗
引用albertzeyer · 2023-09

“Linear Transformers Are Secretly Fast Weight Programmers, Linear Transformers Are Secretly Fast Weight Programmers”

引用它说明线性 Transformer 等价于快速权重编程器的已有结论
引用crotchfire · 2024-02

“Transformers are just networks that learn to program the weights of other networks [1].”

引用它说明 Transformer 就是学习如何编程其他网络权重的网络
Neural Network Diffusion原评论 ↗
引用korbip · 2025-02

“[3] Linear Transformers Are Secretly Fast Weight Programmers”

把它当作 DeltaNet,线性 RNN 谱系中的一环
Ask HN: Is anybody building an alternative transformer?原评论 ↗