推荐andreyk · 2023-01
“The paper itself is pretty cool.”
觉得论文本身很酷,巧妙地把多个模型组合在一起
根据文字描述生成数分钟连贯 24 kHz 音乐的分层模型
MusicLM 把文本条件音乐生成建模为分层的序列到序列任务,能生成 24 kHz、可持续数分钟且保持一致的音乐。实验显示它在音质和与文本描述的契合度上优于此前系统,还能以哼唱或口哨旋律加文字风格描述为条件进行转换。论文同时发布了含 5.5k 条音乐-文本对的 MusicCaps 数据集。
HN 评论者把它当作文本生成音乐的代表性工作,称赞其模型组合巧妙,并引用其关于模型很少逐字记忆训练样本的发现。
“The paper itself is pretty cool.”
“We found that only a tiny fraction of examples was memorized exactly”
“or very recent AI techniques like the Google seq2seq example at [2]”