按年被提到
20182018 · 2 次2026
强化学习与智能体›深度强化学习与世界模型·arXiv:1802.08864 · cs.AI

One Big Net For Everything

一个大网络搞定一切
Juergen Schmidhuber · 2018

单个循环网络 ONE 持续学习新任务而不遗忘旧技能的构想

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2018-03-13 · 最近 2023-08-16
4不同的人
3活跃月份
4讨论串
9被引(OpenAlex)

把“学会思考”(2015)和 PowerPlay(2011)的近期工作用于逐步训练日益通用的问题求解器,使其不断学会新任务而不遗忘旧技能。该求解器是称为 ONE 的单个循环神经网络,可用黑盒优化、强化学习、进化等方式以及监督和无监督学习来训练。学新技能时可重用已有子程序,再在存储的输入输出轨迹上以 PowerPlay 方式重新训练,把越来越多的控制与预测技能压缩进 ONE,迫使它把部分类似的技能联系起来、形成共享子网络,以加速后续相关新技能的学习。

HN 为什么提它

评论者把它列为 Schmidhuber 关于用一个大网络从所有数据中学习的提议之一。

观点难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1循环神经网络(RNN)
2强化学习与神经进化(neuroevolution)
3灾难性遗忘与持续学习
4PowerPlay 与神经历史压缩器

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先了解 Schmidhuber 对深度学习的历史综述,再读他自己提出的 PowerPlay 和「学会思考」两个构想,它们正是 ONE 的直接基础。

  1. 1
    Deep Learning in Neural Networks: An Overview神经网络中的深度学习:综述 · 2014

    Schmidhuber 对深度学习与循环网络的长篇综述,提供 ONE 构想所依赖的背景与术语。

    读关于 RNN、强化学习与信用分配路径的章节;了解他看待神经网络学习的视角,不必通读。

  2. 2

    PowerPlay 是 ONE 持续学习新任务的核心机制:不断寻找最简单的尚未解决的新问题。

    读PowerPlay 的基本思想:同时搜索新任务与解法,并保证不遗忘旧技能。

  3. 3
    On Learning to Think: Algorithmic Information Theory for Novel Combinations of Reinforcement Learning Controllers and Recurrent Neural World Models论学习思考:强化学习控制器与循环神经世界模型新组合的算法信息论 · 2015

    「学会思考」描述控制器与 RNN 世界模型的组合,是 ONE 的另一块直接基础。

    读控制器如何向循环世界模型提问、利用其内部计算来规划;抓概念框架,不看细节推导。

  4. 4
    One Big Net For Everything一个大网络搞定一切 · 2018 · 就是这篇

    目标论文:把以上两项工作用于单个 RNN(ONE)的增量训练。

    读ONE 如何以多种方式训练(神经进化、强化学习、监督/无监督),以及避免遗忘旧技能的思路。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用gwern · 2023-08

“or Schmidhuber [OTHER_PAPER] + One Big Net For Everything (among many others)”

把它与 Schmidhuber 的其他工作并列,作为单一大网络的思路
Ask HN: If we train an LLM with “data” instead of “language” tokens原评论 ↗
被提交为 story · 3 次