按年被提到
20182020 · 3 次2026
视觉、语音与图像生成›语音与音频生成·arXiv:1806.04558 · cs.CL

Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis

从说话人验证迁移到多说话人语音合成
Ye Jia, Yu Zhang, Ron J. Weiss, Quan Wang, Jonathan Shen, Fei Ren, Zhifeng Chen, Patrick Nguyen, Ruoming Pang, Ignacio Lopez Moreno, Yonghui Wu · 2018

用说话人验证网络的嵌入,让 TTS 只凭几秒参考音频克隆声音

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2020-06-11 · 最近 2021-09-25发表于 neural information processing systems
5不同的人
3活跃月份
3讨论串
519被引(OpenAlex)

提出由三个独立训练的模块组成的 TTS 系统:在大量无文本噪声语音上训练的说话人编码器、基于 Tacotron 2 的条件合成网络、WaveNet 声码器。把说话人验证任务学到的说话人表示迁移到合成任务,使系统能合成训练中未见过的说话人的语音,并发现说话人编码器的训练数据越大越多样,泛化越好。

HN 为什么提它

HN 上的人把它当作声音克隆(只需几秒参考音频)的入门基础文献,以及推测 Overdub 等商业产品背后技术的参照。

方法难度 3 / 5约 40 分钟有时效性
读之前最好知道
1神经网络基础
2序列到序列模型(seq2seq)
3Tacotron 2 与语音合成基础
4说话人嵌入(speaker embedding)
5WaveNet 声码器

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先建立序列到序列和注意力基础,再看 WaveNet、Deep Voice、Tacotron 2 这些神经语音合成系统,以及少样本声音克隆,最后读目标论文如何用说话人嵌入实现零样本克隆。

  1. 1
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    目标论文的合成网络是序列到序列结构,先要懂编码器-解码器。

    读编码器-解码器 LSTM 的基本结构。

  2. 2
    Neural Machine Translation by Jointly Learning to Align and Translate通过联合学习对齐与翻译实现神经机器翻译 · 2014

    Tacotron 类合成网络靠注意力对齐文本与音频。

    读软对齐的注意力机制。

  3. 3
    WaveNet: A Generative Model for Raw AudioWaveNet:原始音频的生成模型 · 2016

    目标论文的声码器用 WaveNet 生成波形。

    读自回归逐采样点生成和膨胀因果卷积的思路。

  4. 4
    Deep Voice: Real-time Neural Text-to-SpeechDeep Voice:实时神经网络文本转语音 · 2017

    早期完整的神经 TTS 流水线,说明系统有哪些组成部分。

    读系统各组件的划分,以及与说话人相关的合成思路。

  5. 5

    目标论文的合成网络就是基于 Tacotron 2。

    读从文本预测梅尔频谱,再由 WaveNet 转成波形的两段式结构。

  6. 6

    同样是用少量样本克隆声音的方案,是目标论文改进的对象。

    读说话人自适应与说话人编码两种方案的区别。

  7. 7
    Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis从说话人验证迁移到多说话人语音合成 · 2018 · 就是这篇

    目标论文:用说话人验证训练的编码器给 TTS 提供说话人嵌入,实现未见说话人的克隆。

    读三个独立训练的组件:说话人编码器、合成网络、声码器,以及说话人嵌入如何条件化合成。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐audiohermit · 2020-06

“If you want to read up on the basics, check out the SV2TTS paper: Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis”

推荐 SV2TTS 作为声音克隆的基础入门
Ask HN: My wife might lose the ability to speak in 3 weeks – how to prepare?原评论 ↗
推荐nighthawk454 · 2020-06

“It's been mentioned a bit already, but thought it was worth calling out.”

强调它只需 5 秒参考音频就能克隆声音,上手成本低
Ask HN: My wife might lose the ability to speak in 3 weeks – how to prepare?原评论 ↗
引用fxtentacle · 2020-06

“Here's one method as paper Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis”

把它当作一种声音克隆方法
Ask HN: My wife might lose the ability to speak in 3 weeks – how to prepare?原评论 ↗
引用mandiantBob · 2021-01

“I speculate that the underlying technology of Overdub is based on sv2tts.”

猜测 Overdub 的底层技术基于 SV2TTS
Descript – A collaborative audio/video editor that works like a doc原评论 ↗
引用okamiueru · 2021-09

“Work like, say Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis [paper]”

举它为开源神经 TTS 工作的例子
Speech Synthesis on Linux (2020)原评论 ↗