“These are a few of the interesting, for me personally, since then:”
On Learning to Think: Algorithmic Information Theory for Novel Combinations of Reinforcement Learning Controllers and Recurrent Neural World Models
Schmidhuber 提出用 RNN 世界模型做规划的「学会思考」构想
论文讨论部分可观测环境下的强化学习,在算法信息论的指引下提出基于 RNN 的 AI(RNNAI):它学习环境的预测模型,并主动查询该模型来做抽象推理、规划和决策,本质上是「学会思考」。这种 RNNAI 可以在永无止境的任务序列上训练,其中一些任务是它自己以好奇、玩耍的方式发明的。文章取自一份 2014 年秋提交的基金申请,实验结果留待另文报告。
评论者引用它来说明 Schmidhuber 从算法信息论出发、用世界模型实现学会思考的观点,多为参考性提及。
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我理解 Schmidhuber 这篇构想文章所依赖的背景:深度学习的前史、深度强化学习,以及他自己提出的通用问题求解器思路。
- 1
作者本人对深度学习与循环网络的综述,提供目标论文所用的术语与历史脉络。
读重点看关于循环网络、强化学习与深度学习的部分,其余章节可跳过。
- 2
深度 Q 学习是目标论文讨论的「从像素学控制」的代表性做法,用来对比它所提的 RNN 世界模型方案。
读抓 Q 学习加经验回放和卷积网络的整体框架,以及其在部分可观测环境下的局限。
- 3
POWERPLAY 是同一作者的持续自我提出新问题的通用问题求解器思路,与目标论文构想相互呼应。
读抓「寻找最简单的尚未解决问题」的核心思路,不必深究实现细节。
- 4On Learning to Think: Algorithmic Information Theory for Novel Combinations of Reinforcement Learning Controllers and Recurrent Neural World Models
目标论文:用 RNN 世界模型和强化学习控制器的组合来做规划与抽象推理的构想。
读抓 RNNAI 的整体结构:控制器与世界模型如何交互、如何用于规划;这是构想性文章,注意区分设想与实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“[1] On Learning to Think: Algorithmic Information Theory for Novel Combinations of Reinforcement Learning Controllers and Recurrent Neural World Models On Learning to Think”
“See for example Burfoot [OTHER_PAPER] or Schmidhuber On Learning to Think + [OTHER_PAPER]”
- On Learning to Think: Algorithmic Information Theory ↗albertzeyer · 2015-12-01 · 155 分
- Algorithmic Information Theory for RL Controllers and RNN World Models ↗Anon84 · 2023-11-30 · 1 分