推荐syntaxers · 2023-01
“On your first point, there's some really good results from this paper:”
推荐它,针对对方第一点给出编解码语言模型的出色零样本 TTS 结果
VALL-E:把 TTS 当作条件语言建模,3 秒样本即可克隆声音
提出把文本转语音(TTS)视为条件语言建模任务:用现成神经音频编解码器得到的离散码训练神经编解码语言模型 VALL-E,而不是回归连续信号。预训练数据扩大到 6 万小时英语语音,VALL-E 涌现出上下文学习能力,只需 3 秒的登记录音就能合成个性化语音,在语音自然度和说话人相似度上显著优于此前最好的零样本 TTS,并能保留提示音的情绪和声学环境。
评论者把它作为零样本语音克隆的代表来引用,称其效果很好、说明高效语音克隆已可行,也用它举例说明微软研究的影响力。
“On your first point, there's some really good results from this paper:”
“we have efficient zero-shot voice cloning now[1]”
“VALL-E (2023) - Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers”