引用shraken · 2016-10
“He published a paper with their summer intern here:”
指出 comma.ai 与暑期实习生发表了这篇驾驶模拟器论文
用 VAE+GAN 嵌入路面帧,再学动作条件 RNN 转移模型来模拟驾驶
Comma.ai 的自动驾驶思路是让智能体学习克隆驾驶员行为,并通过模拟道路上的未来事件来规划机动,这篇论文展示其中一种“学会模拟”的研究路线。作者用带经典与学习得到的代价函数(由 GAN 提供)的变分自编码器嵌入道路画面,再在嵌入空间里用动作条件 RNN 学习转移模型。结果显示,即便转移模型不在像素空间里用代价函数优化,也能连续预测数帧看起来真实的视频。
有评论者提到作者与暑期实习生合作发表了这篇论文,后来也有人把它当作 2016 年学习式驾驶模拟器的较早例子。
先了解卷积 GAN 的表示学习,再读用循环世界模型做规划的构想,最后看如何用 VAE 加 GAN 嵌入路面帧并学习转移模型。
目标论文的 GAN 部分采用卷积生成器与判别器结构
读看 DCGAN 的架构约束和训练技巧
提出用 RNN 世界模型做预测与规划的思路,与学习模拟器的出发点一致
读抓住控制器与循环世界模型如何配合,不必深究算法信息论部分
把 VAE 与 GAN 嵌入加动作条件 RNN 转移模型用于驾驶模拟
读看嵌入学习与转移模型两个阶段,以及长时间预测的效果
“He published a paper with their summer intern here:”
“Are there more recent papers? I see one from 2016 [1] But, then again my assumptions are a bit dated as well.”