按年被提到
20182018 · 1 次2026
视觉、语音与图像生成›超分辨率与图像压缩·arXiv:1804.07723 · cs.CV

Image Inpainting for Irregular Holes Using Partial Convolutions

基于部分卷积的不规则孔洞图像修复
Guilin Liu, Fitsum A. Reda, Kevin J. Shih, Ting-Chun Wang, Andrew Tao, Bryan Catanzaro · 2018

部分卷积:只依据有效像素做掩码卷积并更新掩码,修复不规则孔洞

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2018-04-23 · 最近 2025-09-30发表于 Lecture notes in computer science
3不同的人
3活跃月份
3讨论串
2,419被引(OpenAlex)

现有的深度学习图像修复方法对被破坏图像做标准卷积,滤波响应同时依赖有效像素和孔洞中的替代值(通常是均值),容易出现色差和模糊。论文提出部分卷积:对卷积做掩码并重新归一化,使其只依赖有效像素,并在前向传播中自动为下一层生成更新后的掩码。模型在不规则掩码上优于其他方法,并有定性与定量对比验证。

HN 为什么提它

HN 上的人在谈图像修复相关产品时,引用这篇 NVIDIA 2018 年的论文作为技术来源。

方法难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2图像修复(inpainting)
3掩码与归一化操作

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先补上 VGG 特征与感知、风格损失的背景,再看条件对抗翻译的 U-Net 式图像到图像框架,目标论文的部分卷积和损失函数组合都建立在这些之上。

  1. 1
    Very Deep Convolutional Networks for Large-Scale Image Recognition面向大规模图像识别的极深卷积网络 · 2014

    目标论文的感知损失与风格损失要用预训练 VGG 的特征,同时编码器结构也是 VGG 式堆叠。

    读3x3 卷积堆叠的网络结构,以及它的各层特征图为什么能用来衡量图像相似。

  2. 2
    A Neural Algorithm of Artistic Style艺术风格的神经算法 · 2015

    目标论文的风格损失用的是这里提出的 Gram 矩阵风格表示。

    读内容表示与风格表示(Gram 矩阵)的定义;理解为什么它能抑制颜色和纹理的不一致。

  3. 3
    Perceptual Losses for Real-Time Style Transfer and Super-Resolution用于实时风格迁移与超分辨率的感知损失 · 2016

    它把预训练网络的特征损失用于训练前馈网络,目标论文的感知损失来自这一思路。

    读感知损失的定义与前馈网络训练方式,跳过超分辨率实验部分。

  4. 4

    它是图像到图像翻译的代表性框架,修复任务也沿用其编码器-解码器(U-Net)加跳连的结构设计。

    读生成器的 U-Net 结构与损失组合方式;对比它与部分卷积在输入掩码处理上的不同。

  5. 5
    Image Inpainting for Irregular Holes Using Partial Convolutions基于部分卷积的不规则孔洞图像修复 · 2018 · 就是这篇

    读完前置后再看部分卷积,它只依据有效像素卷积并更新掩码来处理不规则孔洞。

    读掩码卷积与重新归一化公式、掩码更新规则、损失函数组成,以及与标准卷积在孔洞边界的对比。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用ethmarks · 2025-09

“NVIDIA published a research paper on it back in 2018: Image Inpainting for Irregular Holes Using Partial Convolutions”

指出 NVIDIA 早在 2018 年就发表了相关的修复论文
Claude Code 2.0原评论 ↗
被提交为 story · 2 次