“While I had trouble reproducing this specific paper, the general idea is valid:”
Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unknown Cameras
只靠相邻帧一致性,同时学习深度、自运动与相机内参的单目深度方法
论文提出一种只用相邻视频帧一致性作为监督信号的方法,同时从单目视频学习深度、自运动、物体运动和相机内参。与已有工作类似,它通过可微分变形把帧映射到相邻帧并比较,同时有若干改进:几何且可微地处理遮挡,引入随机层归一化这种新的正则化器,并考虑物体相对场景的运动。作者称这是首个以无监督方式从视频学习相机内参(包括镜头畸变)的工作,因而可从来源未知的任意视频中提取深度与运动;在 Cityscapes、KITTI 和 EuRoC 上取得深度预测与里程计的最新水平,并定性展示可以从一批 YouTube 视频学习深度预测。
评论者把它当作无监督单目深度估计的例子来引用,有人说 Karpathy 也曾指向它,但也有人反映这篇论文很难复现、从随机初始化难以收敛,不过思路本身成立。
学习路径
读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先看用神经网络预测深度的早期工作,再看无监督学习结构和运动的 SfM-Net,用来理解目标论文如何只靠帧间一致性来学习。
- 1
有监督的单目深度预测,是无监督方法要替代的对象和比较基线。
读多尺度卷积结构,以及深度回归的损失设计。
- 2
从视频同时学习深度和相机运动,是目标论文直接延伸的框架。
读深度、自运动和物体运动的联合预测,以及可微分的图像变形(warping)损失。
- 3Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unknown Cameras
目标论文:只靠相邻帧一致性,同时学习深度、自运动和相机内参。
读遮挡的几何处理、随机化层归一化和相机内参的学习。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Karpathy was also pointing to:”
“See this paper [1][2] for example.”
“Notable examples of the difficulties faced would be Depth from Videos in the Wild which I have never seen converge from random initialization”