“NVIDIA published a research paper on it back in 2018: Image Inpainting for Irregular Holes Using Partial Convolutions”
按年被提到
20182018 · 1 次2026
Image Inpainting for Irregular Holes Using Partial Convolutions
基于部分卷积的不规则孔洞图像修复
Guilin Liu, Fitsum A. Reda, Kevin J. Shih, Ting-Chun Wang, Andrew Tao, Bryan Catanzaro · 2018
部分卷积:只依据有效像素做掩码卷积并更新掩码,修复不规则孔洞
被提及 · 3 人首次 2018-04-23 · 最近 2025-09-30发表于 Lecture notes in computer science
3不同的人
3活跃月份
3讨论串
2,419被引(OpenAlex)
现有的深度学习图像修复方法对被破坏图像做标准卷积,滤波响应同时依赖有效像素和孔洞中的替代值(通常是均值),容易出现色差和模糊。论文提出部分卷积:对卷积做掩码并重新归一化,使其只依赖有效像素,并在前向传播中自动为下一层生成更新后的掩码。模型在不规则掩码上优于其他方法,并有定性与定量对比验证。
HN 为什么提它
HN 上的人在谈图像修复相关产品时,引用这篇 NVIDIA 2018 年的论文作为技术来源。
方法难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2图像修复(inpainting)
3掩码与归一化操作
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先补上 VGG 特征与感知、风格损失的背景,再看条件对抗翻译的 U-Net 式图像到图像框架,目标论文的部分卷积和损失函数组合都建立在这些之上。
- 1
目标论文的感知损失与风格损失要用预训练 VGG 的特征,同时编码器结构也是 VGG 式堆叠。
读3x3 卷积堆叠的网络结构,以及它的各层特征图为什么能用来衡量图像相似。
- 2
目标论文的风格损失用的是这里提出的 Gram 矩阵风格表示。
读内容表示与风格表示(Gram 矩阵)的定义;理解为什么它能抑制颜色和纹理的不一致。
- 3
它把预训练网络的特征损失用于训练前馈网络,目标论文的感知损失来自这一思路。
读感知损失的定义与前馈网络训练方式,跳过超分辨率实验部分。
- 4
它是图像到图像翻译的代表性框架,修复任务也沿用其编码器-解码器(U-Net)加跳连的结构设计。
读生成器的 U-Net 结构与损失组合方式;对比它与部分卷积在输入掩码处理上的不同。
- 5Image Inpainting for Irregular Holes Using Partial Convolutions
读完前置后再看部分卷积,它只依据有效像素卷积并更新掩码来处理不规则孔洞。
读掩码卷积与重新归一化公式、掩码更新规则、损失函数组成,以及与标准卷积在孔洞边界的对比。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用ethmarks · 2025-09
指出 NVIDIA 早在 2018 年就发表了相关的修复论文
被提交为 story · 2 次
- Image Inpainting for Irregular Holes Using Partial Convolutions ↗godelmachine · 2018-04-23 · 3 分
- Image Inpainting for Irregular Holes Using Partial Convolutions ↗lelf · 2019-03-24 · 2 分