按年被提到
20232023 · 3 次2026
视觉、语音与图像生成›语音与音频生成·arXiv:2301.11325 · cs.SD

MusicLM: Generating Music From Text

MusicLM:从文本生成音乐
Andrea Agostinelli, Timo I. Denk, Zalán Borsos, Jesse Engel, Mauro Verzetti, Antoine Caillon, Qingqing Huang, Aren Jansen, Adam Roberts, Marco Tagliasacchi, Matt Sharifi, Neil Zeghidour 等 13 人 · 2023

根据文字描述生成数分钟连贯 24 kHz 音乐的分层模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2023-01-27 · 最近 2025-07-31
4不同的人
3活跃月份
4讨论串
474被引(OpenAlex)

MusicLM 把文本条件音乐生成建模为分层的序列到序列任务,能生成 24 kHz、可持续数分钟且保持一致的音乐。实验显示它在音质和与文本描述的契合度上优于此前系统,还能以哼唱或口哨旋律加文字风格描述为条件进行转换。论文同时发布了含 5.5k 条音乐-文本对的 MusicCaps 数据集。

HN 为什么提它

HN 评论者把它当作文本生成音乐的代表性工作,称赞其模型组合巧妙,并引用其关于模型很少逐字记忆训练样本的发现。

方法难度 3 / 5约 40 分钟有时效性
读之前最好知道
1序列到序列建模(seq2seq)
2音频神经编解码与音频 token
3Transformer 架构
4文本-音频联合嵌入

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐andreyk · 2023-01

“The paper itself is pretty cool.”

觉得论文本身很酷,巧妙地把多个模型组合在一起
MusicLM: Generating Music from Text原评论 ↗
引用m-i-l · 2023-05

“We found that only a tiny fraction of examples was memorized exactly”

引它说明只有极小一部分样例被精确记住
Google makes its text-to-music AI public原评论 ↗
引用JoeDaDude · 2025-07

“or very recent AI techniques like the Google seq2seq example at [2]”

举 Google 的文本生成音乐模型,作为近期 AI 音乐技术的例子
Introduction to Computer Music原评论 ↗
被提交为 story · 1 次