引用fagerhult · 2023-06
“MusicGen is an LLM on top of EnCodec tokens, instead of working directly with audio.”
解释 MusicGen 是在 EnCodec token 之上的 LLM,而非直接处理音频
MusicGen:单阶段 Transformer 在压缩音频 token 上生成可控音乐。
提出 MusicGen,一个在多路压缩离散音乐表示(token)上运行的单一语言模型。它采用单阶段 Transformer 配合高效的 token 交错模式,无需像以往工作那样级联多个模型(分层或上采样)。可生成单声道和立体声的高质量音乐,并以文本描述或旋律特征为条件;自动评测和人工评测都表明它在标准文本到音乐基准上优于对比基线,消融实验说明了各组件的作用,代码和模型已开源。
评论者用它说明当前的音乐生成器(包括 Suno 式架构)是像 LLM 一样在 EnCodec 音频 token 上做下一个 token 预测,而不是图像式的去噪。
“MusicGen is an LLM on top of EnCodec tokens, instead of working directly with audio.”
“MusicGen (Suno-style architecture): Simple and Controllable Music Generation (code: [LINK])”
“The current music generators use next token prediction, like LLMs, not image denoising.”