按年被提到
20162016 · 1 次2026
强化学习与智能体›深度强化学习与世界模型·arXiv:1608.01230 · cs.LG

Learning a Driving Simulator

学习一个驾驶模拟器
Eder Santana, George Hotz · 2016

用 VAE+GAN 嵌入路面帧,再学动作条件 RNN 转移模型来模拟驾驶

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2016-10-28 · 最近 2025-04-26
3不同的人
3活跃月份
3讨论串
185被引(OpenAlex)

Comma.ai 的自动驾驶思路是让智能体学习克隆驾驶员行为,并通过模拟道路上的未来事件来规划机动,这篇论文展示其中一种“学会模拟”的研究路线。作者用带经典与学习得到的代价函数(由 GAN 提供)的变分自编码器嵌入道路画面,再在嵌入空间里用动作条件 RNN 学习转移模型。结果显示,即便转移模型不在像素空间里用代价函数优化,也能连续预测数帧看起来真实的视频。

HN 为什么提它

有评论者提到作者与暑期实习生合作发表了这篇论文,后来也有人把它当作 2016 年学习式驾驶模拟器的较早例子。

实证研究难度 3 / 5约 30 分钟有时效性
读之前最好知道
1变分自编码器(VAE)
2生成对抗网络(GAN)
3循环神经网络(RNN)
4模仿学习与世界模型

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先了解卷积 GAN 的表示学习,再读用循环世界模型做规划的构想,最后看如何用 VAE 加 GAN 嵌入路面帧并学习转移模型。

  1. 1
    Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks用深度卷积生成对抗网络进行无监督表示学习(DCGAN) · 2015

    目标论文的 GAN 部分采用卷积生成器与判别器结构

    读看 DCGAN 的架构约束和训练技巧

  2. 2
    On Learning to Think: Algorithmic Information Theory for Novel Combinations of Reinforcement Learning Controllers and Recurrent Neural World Models论学习思考:强化学习控制器与循环神经世界模型新组合的算法信息论 · 2015

    提出用 RNN 世界模型做预测与规划的思路,与学习模拟器的出发点一致

    读抓住控制器与循环世界模型如何配合,不必深究算法信息论部分

  3. 3
    Learning a Driving Simulator学习一个驾驶模拟器 · 2016 · 就是这篇

    把 VAE 与 GAN 嵌入加动作条件 RNN 转移模型用于驾驶模拟

    读看嵌入学习与转移模型两个阶段,以及长时间预测的效果

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用shraken · 2016-10

“He published a paper with their summer intern here:”

指出 comma.ai 与暑期实习生发表了这篇驾驶模拟器论文
George Hotz cancels his Tesla Autopilot-like ‘comma one’原评论 ↗
引用musesum · 2022-06

“Are there more recent papers? I see one from 2016 [1] But, then again my assumptions are a bit dated as well.”

把它当作 2016 年的较早例子,询问有没有更新的论文
US moves closer to recalling Tesla’s self-driving software原评论 ↗
被提交为 story · 1 次