按年被提到
20182019 · 7 次2026
视觉、语音与图像生成›视觉语言与自监督表征·arXiv:1812.07179 · cs.CV

Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving

来自视觉深度估计的伪激光雷达:弥合自动驾驶 3D 目标检测的差距
Yan Wang, Wei-Lun Chao, Divyansh Garg, Bharath Hariharan, Mark Campbell, Kilian Q. Weinberger · 2018

把图像深度图转成伪激光雷达点云,大幅缩小视觉与 LiDAR 检测差距

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2018-12-20 · 最近 2019-05-01
8不同的人
3活跃月份
8讨论串
1,157被引(OpenAlex)

3D 目标检测依赖昂贵而精确的 LiDAR,基于单目或双目图像的方法准确率一直低得多,常被归咎于图像深度估计质量差。作者认为差距主要来自数据的表示而非质量:考虑到卷积网络的工作方式,把基于图像的深度图转换成模拟 LiDAR 信号的伪激光雷达表示,就能套用现有的 LiDAR 检测算法。在 KITTI 基准上,30 米范围内物体的检测精度从此前最好的 22% 提高到 74%,在提交时位居基于立体图像方法的 KITTI 3D 检测榜首。

HN 为什么提它

HN 上的人在争论自动驾驶应该用摄像头还是激光雷达时引用它,把它当作纯视觉深度估计可逼近 LiDAR 级 3D 检测的第三方研究。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
13D 目标检测与点云(LiDAR)
2单目与双目深度估计
3卷积神经网络(CNN)
4KITTI 数据集

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先了解 CNN 图像检测的基础,再看目标论文如何把深度图转换成点云表示,用现成的 LiDAR 检测器完成 3D 检测。

  1. 1
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    目标论文使用的深度估计与检测网络大多以残差网络为骨干。

    读残差块的基本结构。

  2. 2
    Faster R-CNN: Towards Real-Time Object Detection with Region Proposal NetworksFaster R-CNN:用区域建议网络实现实时目标检测 · 2015

    2D 检测的基础,也是 3D 检测中常用的两阶段思想的来源。

    读区域建议网络与共享特征的两阶段结构。

  3. 3
    Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving来自视觉深度估计的伪激光雷达:弥合自动驾驶 3D 目标检测的差距 · 2018 · 就是这篇

    目标论文:把图像深度图转成伪点云,用 LiDAR 检测器大幅缩小视觉与激光雷达的差距。

    读核心观点:差距主要来自深度图的表示,而不是深度的质量;深度图到点云的转换,以及与前视图表示的对比。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐pbreit · 2019-04

“go read some third party research on how cameras might actually be better.”

让人去读第三方研究,称摄像头可能比 LiDAR 更好
Tesla Posts Big Quarterly Loss as Its Electric-Car Sales Lag原评论 ↗
推荐WhatIsDukkha · 2019-05

“Why don't you read the paper a bit -”

劝人读论文,其中解释了 3D 检测为何用鸟瞰表示
Musk Can’t Dodge Tesla Cash Woes Any Longer原评论 ↗
引用Isinlor · 2019-04

“Independent researchers have already proven Musk to be 100% right about LIDAR.”

拿它说明独立研究已证明基于摄像头的深度可逼近 LiDAR
Changes to Models S and X allow them to travel longer without larger batteries原评论 ↗
被提交为 story · 5 次