“It's already been invented: A Modern Self-Referential Weight Matrix That Learns to Modify Itself. That design is just very inefficient to scale up / use as a transformer backbone.”
按年被提到
20222022 · 2 次2026
A Modern Self-Referential Weight Matrix That Learns to Modify Itself
一种学会修改自身的现代自指权重矩阵
Kazuki Irie, Imanol Schlag, Róbert Csordás, Jürgen Schmidhuber · 2022
运行时用外积与 delta 规则不断改写自身权重的网络
被提及 · 3 人首次 2022-02-24 · 最近 2026-03-18
3不同的人
5活跃月份
5讨论串
16被引(OpenAlex)
论文认为神经网络的权重矩阵就是它的程序,而自指网络的权重在运行时可以不断快速地修改自己,原则上能够元学习乃至递归自我改进。作者基于快速权重编程器和线性 Transformer,提出可扩展的自指权重矩阵 SRWM,用外积和 delta 更新规则修改自身,并在监督式少样本学习和程序生成游戏环境的多任务强化学习中验证了其实用性和有竞争力的表现。
HN 为什么提它
评论者在谈“自我改进的 AI”时反复把它当作小规模已有的自我修改模型,有人调侃、有人指出这种设计很难高效扩展到 Transformer 骨干的规模。
方法难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1快速权重编程器(fast weight programmers)
2线性 Transformer
3元学习(meta-learning)
4delta 规则与外积更新
5强化学习基础
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及批评logicchains · 2025-01
引用logicchains · 2026-03
“There's already a model capable of autonomous learning on the small scale, just nobody's tried to scale it up yet: A Modern Self-Referential Weight Matrix That Learns to Modify Itself”
指出小规模的自主学习模型已存在,只是还没人尝试放大
玩笑logicchains · 2023-12
“He's already solved self-improving AI: A Modern Self-Referential Weight Matrix That Learns to Modify Itself, it just needs to be scaled up.”
被提交为 story · 2 次
- A Modern Self-Referential Weight Matrix That Learns To Modify Itself ↗optimalsolver · 2022-02-24 · 1 分
- A modern self-referential weight matrix that learns to modify itself ↗lnyan · 2022-04-13 · 166 分