按年被提到
20242024 · 2 次2026
机器学习与深度学习›机器学习实践与反思·arXiv:2402.17152 · cs.LG

Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations

行动胜于言语:面向生成式推荐的万亿参数序列转导器
Jiaqi Zhai, Lucy Liao, Xing Liu, Yueming Wang, Rui Li, Xuan Cao, Leon Gao, Zhaojie Gong, Fangda Gu, Michael He, Yinghai Lu, Yu Shi · 2024

把推荐重构为序列转导,提出 HSTU 并扩展到万亿参数

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2024-04-20 · 最近 2026-08-17
4不同的人
4活跃月份
4讨论串
120被引(OpenAlex)

论文把大规模推荐重新表述为生成式建模框架下的序列转导任务(Generative Recommenders),并提出面向高基数、非平稳流式数据的 HSTU 架构。HSTU 在合成与公开数据集上 NDCG 最多提升 65.8%,在 8192 长度序列上比基于 FlashAttention2 的 Transformer 快 5.3 到 15.2 倍;1.5 万亿参数的模型在线上 A/B 测试中指标提升 12.4%,且模型质量随训练算力呈幂律扩展。

HN 为什么提它

评论者引用它作为 Meta 在推荐系统中验证 scaling law、用生成式模型处理 ID token 的代表性工作。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1推荐系统与 DLRM
2Transformer 架构
3缩放定律(scaling law)
4A/B 测试与排序指标(NDCG)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用tullie · 2025-03

“(paper write up here: [LINK])”

附上这篇论文的解读文章,讲 Meta 基于 ID token 训练的生成式推荐模型
Improving recommendation systems and search in the age of LLMs原评论 ↗
被提交为 story · 3 次