“Take a look at these:”
Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis
用 MRF 约束 CNN 特征,让风格化图像合成更逼真
研究把生成式马尔可夫随机场(MRF)与判别式训练的深度卷积网络结合起来合成二维图像:MRF 作用在 CNN 特征金字塔的高层,在抽象层面控制图像布局。方法适用于照片和艺术风格的合成;MRF 正则避免了过度激活的伪影和不合理的特征混合,使合成内容更可信,效果远超经典 MRF 方法。
评论者在讨论怎样合成某位画家风格的图像时引用它,认为其块匹配与混合比原始神经风格迁移更精确,也把它当作深度方法正在追赶搜索式方法的例子。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我了解用预训练卷积网络特征做纹理与风格合成的思路,再读如何用 MRF 约束 CNN 特征来提升逼真度。
- 1
目标论文用 VGG 的卷积特征金字塔作为合成的特征空间。
读VGG 的层结构与各层特征的含义,之后对照目标论文选用的层。
- 2
它说明各层特征捕捉到什么,也是通过特征反推图像的早期思路。
读不同层特征的可视化,尤其高层特征对应的抽象内容。
- 3
目标论文的纹理合成基础,用 CNN 特征统计合成纹理。
读基于 Gram 矩阵的纹理模型与梯度下降合成的过程。
- 4
它定义了内容与风格的 CNN 表示,目标论文用 MRF 改进它的风格迁移。
读内容损失与风格损失的构造;留意其过度激发等不足,对照目标论文提出的 MRF 约束。
- 5Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis
目标论文:用 MRF 约束 CNN 特征做图像合成。
读MRF 对高层特征的作用、与原有 CNN 特征反推方法的对比,及风格化与照片合成实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“the matching and blending covered in the Li and Wand paper provides more accurate style details.”
“While I still prefer search methods because they are easy to implement (and give better results), "deep" methods are definitely gaining some ground:”
- Combining Markov Random Fields and Convolutional Neural Nets for Image Synthesis ↗burningion · 2016-01-20 · 4 分
- Combining Markov Random Fields and Convolutional Neural Networks for Image Synth ↗bpierre · 2016-01-22 · 2 分
- Transfer Image Style -Combining Markov Random Fields and CNN for Image Synthesis ↗dionys · 2016-01-28 · 2 分