按年被提到
20172017 · 4 次2026
视觉、语音与图像生成›语音与音频生成·arXiv:1702.07825 · cs.CL

Deep Voice: Real-time Neural Text-to-Speech

Deep Voice:实时神经网络文本转语音
Sercan O. Arik, Mike Chrzanowski, Adam Coates, Gregory Diamos, Andrew Gibiansky, Yongguo Kang, Xian Li, John Miller, Andrew Ng, Jonathan Raiman, Shubho Sengupta, Mohammad Shoeybi · 2017

全部由深度神经网络构成、可快于实时运行的 TTS 系统

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2017-02-28 · 最近 2024-10-04发表于 International Conference on Machine Learning
5不同的人
3活跃月份
5讨论串
442被引(OpenAlex)

论文介绍 Deep Voice,一个完全由深度神经网络构成的生产级文本转语音系统,由五个模块组成:定位音素边界的分割模型、字素到音素转换模型、音素时长预测模型、基频预测模型和音频合成模型。作者提出用 CTC 损失做音素边界检测的新方法,并实现了参数更少、训练更快的 WaveNet 变体;系统推理快于实时,优化后的 WaveNet 推理内核在 CPU 和 GPU 上比现有实现最高快 400 倍。

HN 为什么提它

HN 上的提及主要是作者本人介绍该系统,并有人引用它使用参数更少的 WaveNet 变体,或顺带讨论 QRNN 等循环网络相关工作。

方法难度 3 / 5约 40 分钟有时效性
读之前最好知道
1WaveNet 与自回归音频生成
2CTC 损失
3语音合成流水线(音素、基频、时长)
4循环神经网络与卷积网络

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你了解端到端语音识别里的 CTC 与网络设计,以及 WaveNet 的音频合成,再看 Deep Voice 如何把它们拼成完整的 TTS 系统。

  1. 1
    Deep Speech: Scaling up end-to-end speech recognitionDeep Speech:扩展端到端语音识别 · 2014

    Deep Voice 的音素边界分割模型借用了语音识别的 CTC 思路。

    读RNN 加 CTC 的端到端识别流程,数据合成不必细看。

  2. 2
    Deep Speech 2: End-to-End Speech Recognition in English and MandarinDeep Speech 2:英语与普通话的端到端语音识别 · 2015

    Deep Voice 的模型设计沿用了 Deep Speech 2 的网络结构经验。

    读卷积加循环层的网络结构与 CTC 训练。

  3. 3
    WaveNet: A Generative Model for Raw AudioWaveNet:原始音频的生成模型 · 2016

    Deep Voice 的音频合成模型基于 WaveNet。

    读膨胀因果卷积与逐采样点自回归生成。

  4. 4
    Deep Voice: Real-time Neural Text-to-SpeechDeep Voice:实时神经网络文本转语音 · 2017 · 就是这篇

    目标论文:由五个深度网络模块构成的实时神经 TTS 系统。

    读五个模块(分割、字音转换、时长预测、基频预测、音频合成)与实时推理的实现。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用PieSquared · 2017-02

“Our paper is on Arxiv [0] and we have a blog post about this [1].”

作者本人贴出论文和博客,介绍这个实时神经网络 TTS
Deep Voice: Real-Time Neural Text-To-Speech for Production原评论 ↗
引用methou · 2017-03

“we implement a variant of WaveNet that requires fewer parameters and trains faster than the original”

说明它实现了参数更少、训练更快的 WaveNet 变体
Deep Voice: Real-Time Neural Text-To-Speech原评论 ↗
引用Smerity · 2024-10

“The QRNN was used, many years ago now, in the first version of Baidu”

提到 QRNN 多年前用于百度首个版本,顺带引用该论文
Were RNNs all we needed?原评论 ↗
被提交为 story · 2 次