引用all2 · 2018-11
“I saw a 2 Minute Papers video that talks about the paper [0] I linked below.”
说看了介绍这篇论文的视频,AI 会把人体分割成各部分
用姿态做中间表示,把一段舞蹈动作迁移到另一个人身上
论文把“照我做”的动作迁移看作以人体姿态为中间表示的视频到视频翻译:从源视频提取姿态,再用学到的姿态到外观映射生成目标人物的视频。方法预测相邻两帧以保持时间连贯,并用单独的流程合成逼真的人脸。作者还提供了检测合成视频的取证工具和一个可合法用于训练的开源数据集。
HN 上的人多是在讨论 AI 换人、深度伪造的话题时顺带引用它,一次说明它把人体分割成部位,一次只是调侃,并没有深入推荐。
这条路径先看 GAN 的卷积实践与图像到图像翻译(pix2pix),再了解感知损失用的预训练特征,最后读姿态到外观的视频动作迁移。
DCGAN 提供了图像 GAN 的卷积架构约定,生成器和判别器的设计由此而来。
读第 3 节的架构指南(跨步卷积、批归一化、激活函数);看生成器如何从潜向量生成图像。
VGG 的特征被用作感知损失网络,目标论文用它提升生成帧的细节质量。
读只需了解 3x3 卷积堆叠的结构及其作为特征提取器的用法。
感知损失用预训练网络的特征距离替代逐像素损失,目标论文沿用这一思路。
读特征重建损失的定义,以及前馈网络配合感知损失的训练方式。
pix2pix 的条件 GAN 做成对图像到图像翻译,姿态到外观的映射本质上就是这个问题。
读条件 GAN 的目标函数、U-Net 生成器和 PatchGAN 判别器。
目标论文:以姿态为中间表示,把一人的舞蹈动作迁移到另一人身上。
读姿态提取、姿态到外观的生成,以及预测相邻两帧保证时间连贯和专门的人脸生成流程。
“I saw a 2 Minute Papers video that talks about the paper [0] I linked below.”
“Even worst...”