按年被提到
20192020 · 2 次2026
机器学习与深度学习›神经科学启发的 AI·arXiv:1909.10893 · cs.LG

Recurrent Independent Mechanisms

循环独立机制(Recurrent Independent Mechanisms)
Anirudh Goyal, Alex Lamb, Jordan Hoffmann, Shagun Sodhani, Sergey Levine, Yoshua Bengio, Bernhard Schölkopf · 2019

多组近乎独立的循环单元经注意力稀疏通信,提升分布外泛化

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2019-09-25 · 最近 2020-11-30
3不同的人
3活跃月份
3讨论串
163被引(OpenAlex)

论文提出 Recurrent Independent Mechanisms(RIMs)这种循环架构:多组循环单元各自拥有近乎独立的状态转移,只通过注意力瓶颈稀疏通信,并且仅在最相关的时间步更新。结果表明各 RIM 会出现分工专门化,使模型在训练与评估间某些变化因素存在系统性差异的任务上泛化显著改善。

HN 为什么提它

HN 评论者提到它主要是把它当作后续模块化循环网络工作的前置研究,并对这类提升泛化的方向表示乐观。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1循环神经网络(RNN、LSTM)
2注意力机制(attention)
3分布外泛化(out-of-distribution generalization)
4因果与模块化表示

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解循环单元和注意力,再看模块化、稀疏通信与因果机制的想法,最后读 RIMs 如何把它们合成一个循环架构。

  1. 1

    RIMs 的每个模块是 GRU 或 LSTM 这类循环单元,先了解其结构。

    读抓 GRU 的门控更新机制。

  2. 2
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    RIMs 用注意力作为模块间通信的瓶颈。

    读抓缩放点积注意力的计算方式。

  3. 3
    The Consciousness Prior意识先验 · 2017

    用注意力选出少数概念,是 RIMs 稀疏通信思想的来源。

    读抓意识先验的核心想法:瓶颈状态与稀疏相关因子。

  4. 4
    Dynamic Routing Between Capsules胶囊之间的动态路由 · 2017

    胶囊用路由让专门化模块互相通信,与 RIMs 的模块化相近。

    读抓动态路由如何让不同胶囊竞争。

  5. 5
    Relational inductive biases, deep learning, and graph networks关系归纳偏置、深度学习与图网络 · 2018

    说明关系归纳偏置与组合泛化,是模块化设计的理论动机。

    读抓关系归纳偏置的框架和图网络的统一视角。

  6. 6

    强调只有少数因果机制改变时模块化带来的泛化,与 RIMs 动机一致。

    读抓分布变化下快速适应的元迁移目标。

  7. 7
    Recurrent Independent Mechanisms循环独立机制(Recurrent Independent Mechanisms) · 2019 · 就是这篇

    多组近乎独立的循环单元经注意力稀疏通信,提升分布外泛化。

    读抓模块选择、稀疏更新与注意力通信的机制,以及泛化实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用descartes19 · 2020-07

“It builds upon their seminal work of Recurrent Independent Mechanism.”

指出新工作建立在这篇开创性论文之上
Object Files and Schemata: Factorizing Declarative and Procedural Knowledge原评论 ↗
引用ilaksh · 2020-11

“This type of research makes me optimistic about possibilities for generalization in the future.”

称这类研究让人对未来的泛化能力感到乐观
Software and Hardware for General Robots原评论 ↗
被提交为 story · 1 次