按年被提到
20172021 · 2 次2026
视觉、语音与图像生成›视觉语言与自监督表征·arXiv:1703.06907 · cs.RO

Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World

域随机化:把深度神经网络从仿真迁移到真实世界
Josh Tobin, Rachel Fong, Alex Ray, Jonas Schneider, Wojciech Zaremba, Pieter Abbeel · 2017

用随机化渲染的仿真图像训练目标定位网络,直接迁移到真实机器人

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2017-04-01 · 最近 2021-04-21
3不同的人
3活跃月份
3讨论串
3,172被引(OpenAlex)

论文研究域随机化(domain randomization):在仿真器里随机化纹理、光照等渲染参数,让模型把真实世界当作又一种变化。仅用带非真实随机纹理的仿真 RGB 图像,就训练出精度约 1.5cm、能抵抗干扰物和部分遮挡的真实物体检测器,并用它在杂乱环境中完成抓取。作者称这是首次不经真实图像预训练、仅靠仿真图像就迁移到真实机器人控制的深度网络。

HN 为什么提它

HN 上的人用它说明 sim-to-real 迁移是真实可行的技术,用仿真数据训练视觉模型也可能迁移到现实世界。

方法难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2目标检测与定位
3机器人仿真与渲染
4迁移学习(domain adaptation)

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立三块背景:用 CNN 预训练特征做视觉任务、端到端的视觉运动控制,以及不同任务之间的迁移问题,从而理解域随机化为何要在仿真里做。

  1. 1
    Very Deep Convolutional Networks for Large-Scale Image Recognition面向大规模图像识别的极深卷积网络 · 2014

    目标论文的检测网络以 VGG 作为骨干,需要了解其结构。

    读3x3 小卷积堆叠的网络结构与各层配置;知道它是被迁移到机器人定位任务的特征提取器。

  2. 2
    End-to-End Training of Deep Visuomotor Policies深度视觉运动策略的端到端训练 · 2015

    它展示了从图像直接到机器人动作的端到端训练,也点出了真实机器人数据昂贵的问题,这正是用仿真的动机。

    读视觉运动策略的网络结构与训练方式;注意它依赖真实机器人数据的部分。

  3. 3
    Progressive Neural Networks渐进式神经网络 · 2016

    它提出了从仿真向真实机器人迁移的另一种思路,可与域随机化对比。

    读横向连接复用旧任务特征的结构,以及其中仿真到真实的迁移实验。

  4. 4
    Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World域随机化:把深度神经网络从仿真迁移到真实世界 · 2017 · 就是这篇

    读完前置后再看只靠随机化渲染、不用任何真实图像就能迁移的做法。

    读随机化的各类因素(纹理、光照、相机、干扰物)及其消融实验,以及定位精度和真实机器人抓取演示。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用gdb · 2017-04

“While the application is indeed a joke, the technique for sim-to-real transfer (and the robotic system in the post) is very real: Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World:).”

说明愚人节应用虽是玩笑,但 sim-to-real 技术是真的
Spam detection in the physical world原评论 ↗
引用dexter89_kp3 · 2021-02

“There is decent research on sim2real i.e transferring models trained on synthetic data to real world applications”

指出 sim2real 已有不错研究,即把合成数据训练的模型迁移到现实
A better way to build ML: Why you should be using Active Learning原评论 ↗
引用bravura · 2021-04

“This is important for vision ML because sufficiently advanced simulations may comprise the real world as a special case:”

用它说明足够先进的模拟可把现实包含为特例,对视觉 ML 很重要
Massively Parallel Rendering of Complex Closed-Form Implicit Surfaces (2020)原评论 ↗