按年被提到
20172017 · 1 次2026
视觉、语音与图像生成›语音与音频生成·arXiv:1711.00937 · cs.LG

Neural Discrete Representation Learning

神经离散表示学习
Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu · 2017

VQ-VAE:编码器输出离散码、先验可学习,避免后验坍塌

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2017-11-06 · 最近 2025-05-09
3不同的人
3活跃月份
3讨论串
2,728被引(OpenAlex)

论文提出向量量化变分自编码器 VQ-VAE,与 VAE 有两点不同:编码器输出离散而非连续的编码,并且先验是学出来的而非固定的。借助向量量化,模型避开了强大自回归解码器下常见的“后验坍塌”问题;配合自回归先验,可生成高质量的图像、视频和语音,也能做高质量说话人转换,并无监督地学到音素,体现了所学表示的价值。

HN 为什么提它

HN 上的人把它作为离散 token 自编码器的代表来引用(图像几乎无损地往返编码),也用它说明模型能无监督学出与音素对应的最小语音单元。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1变分自编码器(VAE)
2向量量化(vector quantisation)
3自回归模型(autoregressive model)
4后验坍塌(posterior collapse)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用GistNoesis · 2024-12

“VQ-VAE (Vector Quantised-Variational AutoEncoder), (2017) Neural Discrete Representation Learning”

列出 VQ-VAE(2017)作为离散 token 自编码器的例子
Sora is here原评论 ↗
引用stonelazy · 2025-05

“I used to think the same until I came across the VQ-VAE paper [1], where the goal was to let the model learn the smallest units of speech without any supervision.”

用 VQ-VAE 说明模型能无监督地学到最小的语音单元
Accents in latent spaces: How AI hears accent strength in English原评论 ↗
被提交为 story · 1 次