引用tullie · 2025-03
“(paper write up here: [LINK])”
附上这篇论文的解读文章,讲 Meta 基于 ID token 训练的生成式推荐模型
把推荐重构为序列转导,提出 HSTU 并扩展到万亿参数
论文把大规模推荐重新表述为生成式建模框架下的序列转导任务(Generative Recommenders),并提出面向高基数、非平稳流式数据的 HSTU 架构。HSTU 在合成与公开数据集上 NDCG 最多提升 65.8%,在 8192 长度序列上比基于 FlashAttention2 的 Transformer 快 5.3 到 15.2 倍;1.5 万亿参数的模型在线上 A/B 测试中指标提升 12.4%,且模型质量随训练算力呈幂律扩展。
评论者引用它作为 Meta 在推荐系统中验证 scaling law、用生成式模型处理 ID token 的代表性工作。
“(paper write up here: [LINK])”