按年被提到
20152015 · 7 次2026
强化学习与智能体›深度强化学习与世界模型·arXiv:1504.00702 · cs.LG

End-to-End Training of Deep Visuomotor Policies

深度视觉运动策略的端到端训练
Sergey Levine, Chelsea Finn, Trevor Darrell, Pieter Abbeel · 2015

用 CNN 直接把原始图像映射为机器人电机力矩,端到端训练

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2015-05-22 · 最近 2017-05-25发表于 Journal of Machine Learning Research
8不同的人
7活跃月份
8讨论串
2,192被引(OpenAlex)

论文探讨感知与控制联合端到端训练是否优于分别训练。作者开发了可学习把原始图像观测直接映射为机器人电机力矩的策略方法:策略用仅 92,000 个参数的深度 CNN 表示,通过部分可观测的引导策略搜索训练,该方法把策略搜索转化为监督学习,监督来自简单的轨迹中心强化学习方法。作者在需要视觉与控制紧密配合的真实操作任务(如把瓶盖拧到瓶子上)上评估,并与一系列已有策略搜索方法做仿真对比。

HN 为什么提它

HN 上的人称赞「直接从视觉学习电机力矩」是重要成果,并把它作为机器人端到端学习的起点,后续新工作可顺着其引用追查。

方法难度 4 / 5约 80 分钟经得起时间
读之前最好知道
1强化学习与策略搜索(policy search)
2卷积神经网络(CNN)
3机器人控制与轨迹优化
4监督学习与模仿学习

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先熟悉深度 RL 从像素学习的设定,再了解大型 CNN 的预训练,最后读目标论文如何把感知与控制联合端到端训练。

  1. 1
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    它展示卷积网络直接从像素学习控制,是目标论文设定的参照。

    读Q 学习加卷积网络的做法;对比目标论文用策略搜索处理连续力矩。

  2. 2
    Very Deep Convolutional Networks for Large-Scale Image Recognition面向大规模图像识别的极深卷积网络 · 2014

    目标论文的视觉层可用预训练的大规模图像分类 CNN 初始化,VGG 是代表性的网络。

    读小卷积核堆叠的结构;不必看 ImageNet 结果表。

  3. 3
    End-to-End Training of Deep Visuomotor Policies深度视觉运动策略的端到端训练 · 2015 · 就是这篇

    目标论文:用 CNN 把原始图像直接映射到电机力矩,联合训练感知与控制。

    读引导式策略搜索(guided policy search)、空间 softmax 特征点层,以及端到端与分开训练的对比。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐deepnet · 2015-05

“Learning motor torques directly from vision is a very important result.”

称直接从视觉学习电机力矩是非常重要的成果
‘Deep learning’ technique enables robot mastery of skills via trial and error原评论 ↗
推荐WilliamDhalgren · 2017-05

“this paper initially demonstrated an impressive improvement in manipulative tasks, and you can prob follow its numerous citations for newer stuff:”

称它在操作任务上进步显著,可顺着引用找更新的工作
AlphaGo beats Ke Jie again to wrap up three-part match原评论 ↗
引用nl · 2015-05

“Interestingly, they initialise the visual learning model using the ImageNet images.”

指出它用 ImageNet 图像初始化视觉学习模型,觉得有趣
‘Deep learning’ technique enables robot mastery of skills via trial and error原评论 ↗
引用davmre · 2015-10

“but which requires too much computation to actually apply directly at test time, as in End-to-End Training of Deep Visuomotor Policies”

举它为例:视觉运动策略模仿基于仿真的搜索专家
Obstacles on the Path to AI原评论 ↗
引用zhanwei · 2015-10

“Policy search methods assume that there aren't many trajectories that make sense”

把它当作策略搜索方法的例子
Obstacles on the Path to AI原评论 ↗
引用jpfr · 2015-12

“[3] End-to-End Training of Deep Visuomotor Policies”

把它当作近期深度强化学习思路的参考文献
The first person to hack the iPhone is building a self-driving car原评论 ↗
看全部 8 条 →
引用deepnet · 2016-04

“Michie's nascent hybrid of raw sensor machine learning & GOFAI embodied in robots is just being rediscovered in Abeel & Levines work today. End-to-End Training of Deep Visuomotor Policies”

称 Michie 的原始传感器学习与 GOFAI 混合思路正被这类工作重新发现
An AI First World原评论 ↗
引用deepnet · 2016-05

“Abeel and Levine's work[2] where robots learn robust functions to map from pixels to motor torques for domestic tasks show solutions built on features learnt from raw data are more resilient than hand-engineered ones.”

引用它说明从原始数据学到的特征比手工特征更稳健
My path to OpenAI原评论 ↗
被提交为 story · 2 次