按年被提到
20192019 · 2 次2026
视觉、语音与图像生成›视觉语言与自监督表征·arXiv:1904.04998 · cs.CV

Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unknown Cameras

野外视频中的深度:从未知相机中无监督学习单目深度
Ariel Gordon, Hanhan Li, Rico Jonschkowski, Anelia Angelova · 2019

只靠相邻帧一致性,同时学习深度、自运动与相机内参的单目深度方法

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2019-04-24 · 最近 2020-08-19
3不同的人
4活跃月份
4讨论串
385被引(OpenAlex)

论文提出一种只用相邻视频帧一致性作为监督信号的方法,同时从单目视频学习深度、自运动、物体运动和相机内参。与已有工作类似,它通过可微分变形把帧映射到相邻帧并比较,同时有若干改进:几何且可微地处理遮挡,引入随机层归一化这种新的正则化器,并考虑物体相对场景的运动。作者称这是首个以无监督方式从视频学习相机内参(包括镜头畸变)的工作,因而可从来源未知的任意视频中提取深度与运动;在 Cityscapes、KITTI 和 EuRoC 上取得深度预测与里程计的最新水平,并定性展示可以从一批 YouTube 视频学习深度预测。

HN 为什么提它

评论者把它当作无监督单目深度估计的例子来引用,有人说 Karpathy 也曾指向它,但也有人反映这篇论文很难复现、从随机初始化难以收敛,不过思路本身成立。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1多视几何与相机内参
2可微图像变形(differentiable warping)
3卷积神经网络与自监督学习
4视觉里程计(odometry)
5单目深度估计

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看用神经网络预测深度的早期工作,再看无监督学习结构和运动的 SfM-Net,用来理解目标论文如何只靠帧间一致性来学习。

  1. 1

    有监督的单目深度预测,是无监督方法要替代的对象和比较基线。

    读多尺度卷积结构,以及深度回归的损失设计。

  2. 2

    从视频同时学习深度和相机运动,是目标论文直接延伸的框架。

    读深度、自运动和物体运动的联合预测,以及可微分的图像变形(warping)损失。

  3. 3
    Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unknown Cameras野外视频中的深度:从未知相机中无监督学习单目深度 · 2019 · 就是这篇

    目标论文:只靠相邻帧一致性,同时学习深度、自运动和相机内参。

    读遮挡的几何处理、随机化层归一化和相机内参的学习。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评fxtentacle · 2020-08

“While I had trouble reproducing this specific paper, the general idea is valid:”

称这篇论文自己复现有困难,但无监督深度估计的总体思路成立
Open Problems in Robotics原评论 ↗
引用Isinlor · 2019-04

“Karpathy was also pointing to:”

补充 Karpathy 也指向过的这项无监督单目深度学习工作
Changes to Models S and X allow them to travel longer without larger batteries原评论 ↗
引用m3at · 2019-08

“See this paper [1][2] for example.”

举这篇论文作为从无标注视频学单目深度的例子
Camera vs. Lidar原评论 ↗
引用fxtentacle · 2020-06

“Notable examples of the difficulties faced would be Depth from Videos in the Wild which I have never seen converge from random initialization”

举它为训练困难的例子,称从随机初始化从未见它收敛
Gated Linear Networks原评论 ↗