按年被提到
20182018 · 2 次2026
强化学习与智能体›深度强化学习与世界模型·arXiv:1803.10122 · cs.LG

World Models

世界模型
David Ha, Jürgen Schmidhuber · 2018

先学环境的压缩世界模型,再用小策略甚至在梦中训练智能体

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2018-06-03 · 最近 2025-09-03
5不同的人
6活跃月份
6讨论串
533被引(OpenAlex)

论文为常见的强化学习环境构建生成式神经网络模型。世界模型能以无监督方式快速训练,学到环境在空间和时间上的压缩表示;把世界模型提取的特征作为智能体的输入,就可以训练一个非常紧凑、简单的策略来解决任务。甚至可以让智能体完全在世界模型生成的「幻觉梦境」中训练,再把策略迁移回真实环境。

HN 为什么提它

评论者推荐它是一篇好读又有技术含量的 ML 论文(有交互版网页),也用它说明学得的世界模型可以充当模拟器,甚至暗示人类抽象能力与有损压缩相近。

方法难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1强化学习基础(reinforcement learning)
2变分自编码器(VAE)
3循环神经网络(RNN)
4策略(policy)与智能体训练

学习路径

读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

候选里只有一篇与「在想象中使用环境模型」直接相关,因此路径很短。

  1. 1

    同样让智能体借助学到的环境模型在「想象」中规划,是世界模型思路的相关前作。

    读想象的轨迹如何作为额外输入送入策略;对照目标论文的做法。

  2. 2
    World Models世界模型 · 2018 · 就是这篇

    目标论文:先学环境的压缩世界模型,再训练小策略。

    读视觉、记忆(MDN-RNN)与控制三个组件的分工,以及在「梦」里训练策略再迁移回真实环境。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐TaylorAlexander · 2018-07

“if you’re ML curious, I enjoyed reading the World Models paper.”

推荐给对 ML 好奇的人,读起来愉快
Ask HN: 2018 Summer Reading List?原评论 ↗
引用candiodari · 2021-06

“The hack is to have the simulator itself... also be a learned system, and not to simulate the world”

拿它说明让模拟器本身成为学习系统,在潜空间里模拟
DeepMind says reinforcement learning is ‘enough’ to reach general AI原评论 ↗
引用d110af5ccf · 2021-07

“Your description kind of reminds me of the 2018 World Models publication.”

觉得对方的想法让人想起 2018 年这篇世界模型论文
More Protein Folding Progress – What’s It Mean?原评论 ↗
引用d110af5ccf · 2023-02

“work such as World Models suggests to me that there might be little difference between the human ability to abstract and lossy compression.”

拿它暗示人类抽象能力与有损压缩可能差别很小
Getty Images v. Stability AI – Complaint原评论 ↗
引用esrh · 2025-09

“the famous paper by Ha & Schmidhuber”

称它是 Ha 和 Schmidhuber 的著名论文
'World Models,' an old idea in AI, mount a comeback原评论 ↗
被提交为 story · 1 次