“For deep learning, people have improved visual representation by taking samples of the colors at various frequencies.”
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
用 MLP 表示 5D 辐射场,从稀疏视图合成新视角
论文提出 NeRF:用一个全连接网络表示场景,输入为连续的 5D 坐标(空间位置加观察方向),输出该点的体密度和与视角相关的辐射颜色。沿相机光线查询这些坐标,再用经典体渲染把颜色和密度投影成图像;体渲染天然可微,因此只需已知相机位姿的一组图像就能优化,并在复杂几何和外观的新视角合成上优于此前的神经渲染方法。
评论者把它当作神经隐式表示和 3D 重建的奠基工作,常用来解释“把相机位置和方向映射成颜色与密度”的核心想法,并提及原版训练一个场景需十余小时。
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出候选里与 NeRF 核心方法直接相关的主要是用神经网络表示三维形状和场景的隐式表示工作,以及位置编码所源自的 Transformer。
- 1
用 MLP 把空间坐标映射到连续的符号距离,是 NeRF 所用的连续隐式表示的前身。
读坐标网络表示形状的思路,以及与体素、网格表示的对比。
- 2
用连续函数表示场景并结合可微渲染,是与 NeRF 最接近的相关工作。
读场景表示网络如何从坐标映射到特征,以及可微渲染的做法;对比 NeRF 的体渲染。
- 3
NeRF 的位置编码借鉴了 Transformer 中的正弦位置编码思想。
读位置编码(sinusoidal positional encoding)的构造;不必看注意力部分。
- 4NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
目标论文:用 MLP 表示 5D 辐射场,通过体渲染合成新视角。
读体渲染的积分公式、位置编码对高频细节的作用,以及分层采样。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“NeRF has been around since March 2020”
“when the original NeRF paper was published 2 years ago, it reportedly took at least 12 hours”
“and the 2D to 3D paper "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis" with 1488 citations.”
“you train a network to map a camera location and direction (in 3D space) to a distance and a color.”
“NeRF was already standardized in the literature by people who are not these authors [0]”