按年被提到
20152015 · 2 次2026
强化学习与智能体›深度强化学习与世界模型·arXiv:1511.09249 · cs.AI

On Learning to Think: Algorithmic Information Theory for Novel Combinations of Reinforcement Learning Controllers and Recurrent Neural World Models

论学习思考:强化学习控制器与循环神经世界模型新组合的算法信息论
Juergen Schmidhuber · 2015

Schmidhuber 提出用 RNN 世界模型做规划的「学会思考」构想

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2015-12-01 · 最近 2023-11-30
5不同的人
4活跃月份
5讨论串
50被引(OpenAlex)

论文讨论部分可观测环境下的强化学习,在算法信息论的指引下提出基于 RNN 的 AI(RNNAI):它学习环境的预测模型,并主动查询该模型来做抽象推理、规划和决策,本质上是「学会思考」。这种 RNNAI 可以在永无止境的任务序列上训练,其中一些任务是它自己以好奇、玩耍的方式发明的。文章取自一份 2014 年秋提交的基金申请,实验结果留待另文报告。

HN 为什么提它

评论者引用它来说明 Schmidhuber 从算法信息论出发、用世界模型实现学会思考的观点,多为参考性提及。

观点难度 5 / 5约 90 分钟经得起时间
读之前最好知道
1强化学习(reinforcement learning)
2循环神经网络(RNN)
3算法信息论与 Kolmogorov 复杂度
4世界模型(world model)
5分层规划与推理

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我理解 Schmidhuber 这篇构想文章所依赖的背景:深度学习的前史、深度强化学习,以及他自己提出的通用问题求解器思路。

  1. 1
    Deep Learning in Neural Networks: An Overview神经网络中的深度学习:综述 · 2014

    作者本人对深度学习与循环网络的综述,提供目标论文所用的术语与历史脉络。

    读重点看关于循环网络、强化学习与深度学习的部分,其余章节可跳过。

  2. 2
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    深度 Q 学习是目标论文讨论的「从像素学控制」的代表性做法,用来对比它所提的 RNN 世界模型方案。

    读抓 Q 学习加经验回放和卷积网络的整体框架,以及其在部分可观测环境下的局限。

  3. 3

    POWERPLAY 是同一作者的持续自我提出新问题的通用问题求解器思路,与目标论文构想相互呼应。

    读抓「寻找最简单的尚未解决问题」的核心思路,不必深究实现细节。

  4. 4
    On Learning to Think: Algorithmic Information Theory for Novel Combinations of Reinforcement Learning Controllers and Recurrent Neural World Models论学习思考:强化学习控制器与循环神经世界模型新组合的算法信息论 · 2015 · 就是这篇

    目标论文:用 RNN 世界模型和强化学习控制器的组合来做规划与抽象推理的构想。

    读抓 RNNAI 的整体结构:控制器与世界模型如何交互、如何用于规划;这是构想性文章,注意区分设想与实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐nrmn · 2015-12

“These are a few of the interesting, for me personally, since then:”

把这篇论文列为个人觉得有意思的工作之一
Ask HN: Papers you read in 2015?原评论 ↗
引用hardmaru · 2018-04

“[1] On Learning to Think: Algorithmic Information Theory for Novel Combinations of Reinforcement Learning Controllers and Recurrent Neural World Models On Learning to Think”

作为 Schmidhuber 的论文引用,不加评价
A step-by-step guide to the “World Models” AI paper原评论 ↗
引用gwern · 2023-08

“See for example Burfoot [OTHER_PAPER] or Schmidhuber On Learning to Think + [OTHER_PAPER]”

引用 Schmidhuber 的这篇论文作为从算法信息论看学习的参考
Ask HN: If we train an LLM with “data” instead of “language” tokens原评论 ↗
被提交为 story · 2 次