引用GistNoesis · 2024-12
“VQ-VAE (Vector Quantised-Variational AutoEncoder), (2017) Neural Discrete Representation Learning”
列出 VQ-VAE(2017)作为离散 token 自编码器的例子
VQ-VAE:编码器输出离散码、先验可学习,避免后验坍塌
论文提出向量量化变分自编码器 VQ-VAE,与 VAE 有两点不同:编码器输出离散而非连续的编码,并且先验是学出来的而非固定的。借助向量量化,模型避开了强大自回归解码器下常见的“后验坍塌”问题;配合自回归先验,可生成高质量的图像、视频和语音,也能做高质量说话人转换,并无监督地学到音素,体现了所学表示的价值。
HN 上的人把它作为离散 token 自编码器的代表来引用(图像几乎无损地往返编码),也用它说明模型能无监督学出与音素对应的最小语音单元。
“VQ-VAE (Vector Quantised-Variational AutoEncoder), (2017) Neural Discrete Representation Learning”
“I used to think the same until I came across the VQ-VAE paper [1], where the goal was to let the model learn the smallest units of speech without any supervision.”