按年被提到
20232023 · 3 次2026
视觉、语音与图像生成›语音与音频生成·arXiv:2301.02111 · cs.CL

Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers

神经编解码语言模型是零样本文本转语音合成器
Chengyi Wang, Sanyuan Chen, Yu Wu, Ziqiang Zhang, Long Zhou, Shujie Liu, Zhuo Chen, Yanqing Liu, Huaming Wang, Jinyu Li, Lei He, Sheng Zhao 等 13 人 · 2023

VALL-E:把 TTS 当作条件语言建模,3 秒样本即可克隆声音

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2023-01-09 · 最近 2024-09-17发表于 IEEE Transactions on Audio Speech and Language Processing
4不同的人
3活跃月份
4讨论串
480被引(OpenAlex)

提出把文本转语音(TTS)视为条件语言建模任务:用现成神经音频编解码器得到的离散码训练神经编解码语言模型 VALL-E,而不是回归连续信号。预训练数据扩大到 6 万小时英语语音,VALL-E 涌现出上下文学习能力,只需 3 秒的登记录音就能合成个性化语音,在语音自然度和说话人相似度上显著优于此前最好的零样本 TTS,并能保留提示音的情绪和声学环境。

HN 为什么提它

评论者把它作为零样本语音克隆的代表来引用,称其效果很好、说明高效语音克隆已可行,也用它举例说明微软研究的影响力。

方法难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1文本转语音(TTS)
2神经音频编解码器(neural audio codec)
3自回归语言模型
4上下文学习(in-context learning)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐syntaxers · 2023-01

“On your first point, there's some really good results from this paper:”

推荐它,针对对方第一点给出编解码语言模型的出色零样本 TTS 结果
Will TTS and STT benefit from the AI boom?原评论 ↗
引用CSSer · 2023-02

“we have efficient zero-shot voice cloning now[1]”

拿它说明现在已有高效的零样本语音克隆,只需很短音频
I had ChatGPT write a Decemberists song原评论 ↗
引用alephnerd · 2024-09

“VALL-E (2023) - Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers”

列出 VALL-E 作为微软研究院的零样本 TTS 模型,说明其影响力
Amazon's Secret Weapon in Chip Design Is Amazon原评论 ↗
被提交为 story · 1 次