按年被提到
20222022 · 2 次2026
强化学习与智能体›深度强化学习与世界模型·arXiv:2202.05780 · cs.LG

A Modern Self-Referential Weight Matrix That Learns to Modify Itself

一种学会修改自身的现代自指权重矩阵
Kazuki Irie, Imanol Schlag, Róbert Csordás, Jürgen Schmidhuber · 2022

运行时用外积与 delta 规则不断改写自身权重的网络

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2022-02-24 · 最近 2026-03-18
3不同的人
5活跃月份
5讨论串
16被引(OpenAlex)

论文认为神经网络的权重矩阵就是它的程序,而自指网络的权重在运行时可以不断快速地修改自己,原则上能够元学习乃至递归自我改进。作者基于快速权重编程器和线性 Transformer,提出可扩展的自指权重矩阵 SRWM,用外积和 delta 更新规则修改自身,并在监督式少样本学习和程序生成游戏环境的多任务强化学习中验证了其实用性和有竞争力的表现。

HN 为什么提它

评论者在谈“自我改进的 AI”时反复把它当作小规模已有的自我修改模型,有人调侃、有人指出这种设计很难高效扩展到 Transformer 骨干的规模。

方法难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1快速权重编程器(fast weight programmers)
2线性 Transformer
3元学习(meta-learning)
4delta 规则与外积更新
5强化学习基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评logicchains · 2025-01

“It's already been invented: A Modern Self-Referential Weight Matrix That Learns to Modify Itself. That design is just very inefficient to scale up / use as a transformer backbone.”

Transformer^2: Self-Adaptive LLMs原评论 ↗
引用logicchains · 2026-03

“There's already a model capable of autonomous learning on the small scale, just nobody's tried to scale it up yet: A Modern Self-Referential Weight Matrix That Learns to Modify Itself”

指出小规模的自主学习模型已存在,只是还没人尝试放大
Why AI systems don't learn – On autonomous learning from cognitive science原评论 ↗
玩笑logicchains · 2023-12

“He's already solved self-improving AI: A Modern Self-Referential Weight Matrix That Learns to Modify Itself, it just needs to be scaled up.”

Turing Awardees Republished Key Methods and Ideas Without Credit原评论 ↗
被提交为 story · 2 次