按年被提到
20182018 · 3 次2026
视觉、语音与图像生成›图像与视频生成·arXiv:1808.07371 · cs.GR

Everybody Dance Now

大家一起跳舞:基于姿态的视频动作迁移
Caroline Chan, Shiry Ginosar, Tinghui Zhou, Alexei A. Efros · 2018

用姿态做中间表示,把一段舞蹈动作迁移到另一个人身上

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2018-08-25 · 最近 2023-12-22
4不同的人
3活跃月份
4讨论串
747被引(OpenAlex)

论文把“照我做”的动作迁移看作以人体姿态为中间表示的视频到视频翻译:从源视频提取姿态,再用学到的姿态到外观映射生成目标人物的视频。方法预测相邻两帧以保持时间连贯,并用单独的流程合成逼真的人脸。作者还提供了检测合成视频的取证工具和一个可合法用于训练的开源数据集。

HN 为什么提它

HN 上的人多是在讨论 AI 换人、深度伪造的话题时顺带引用它,一次说明它把人体分割成部位,一次只是调侃,并没有深入推荐。

方法难度 3 / 5约 40 分钟有时效性
读之前最好知道
1生成对抗网络(GAN)
2卷积神经网络
3人体姿态估计
4图像到图像翻译(image-to-image translation)

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看 GAN 的卷积实践与图像到图像翻译(pix2pix),再了解感知损失用的预训练特征,最后读姿态到外观的视频动作迁移。

  1. 1
    Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks用深度卷积生成对抗网络进行无监督表示学习(DCGAN) · 2015

    DCGAN 提供了图像 GAN 的卷积架构约定,生成器和判别器的设计由此而来。

    读第 3 节的架构指南(跨步卷积、批归一化、激活函数);看生成器如何从潜向量生成图像。

  2. 2
    Very Deep Convolutional Networks for Large-Scale Image Recognition面向大规模图像识别的极深卷积网络 · 2014

    VGG 的特征被用作感知损失网络,目标论文用它提升生成帧的细节质量。

    读只需了解 3x3 卷积堆叠的结构及其作为特征提取器的用法。

  3. 3
    Perceptual Losses for Real-Time Style Transfer and Super-Resolution用于实时风格迁移与超分辨率的感知损失 · 2016

    感知损失用预训练网络的特征距离替代逐像素损失,目标论文沿用这一思路。

    读特征重建损失的定义,以及前馈网络配合感知损失的训练方式。

  4. 4

    pix2pix 的条件 GAN 做成对图像到图像翻译,姿态到外观的映射本质上就是这个问题。

    读条件 GAN 的目标函数、U-Net 生成器和 PatchGAN 判别器。

  5. 5
    Everybody Dance Now大家一起跳舞:基于姿态的视频动作迁移 · 2018 · 就是这篇

    目标论文:以姿态为中间表示,把一人的舞蹈动作迁移到另一人身上。

    读姿态提取、姿态到外观的生成,以及预测相邻两帧保证时间连贯和专门的人脸生成流程。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用all2 · 2018-11

“I saw a 2 Minute Papers video that talks about the paper [0] I linked below.”

说看了介绍这篇论文的视频,AI 会把人体分割成各部分
Ask HN: How to determine body position while sleeping?原评论 ↗
玩笑belter · 2023-12

“Even worst...”

How to install Windows 11 on a device that does not meet Windows 11 requirements原评论 ↗
被提交为 story · 2 次