按年被提到
20242026 · 4 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2404.19737 · cs.CL

Better & Faster Large Language Models via Multi-token Prediction

通过多词元预测实现更好更快的大语言模型
Fabian Gloeckle, Badr Youbi Idrissi, Baptiste Rozière, David Lopez-Paz, Gabriel Synnaeve · 2024

训练时让模型一次预测多个后续词元,提升效率并加速推理

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2024-05-01 · 最近 2026-10-19
5不同的人
4活跃月份
4讨论串
54被引(OpenAlex)

提出训练语言模型时在每个位置用 n 个独立输出头、基于共享主干同时预测后续 n 个词元,把多词元预测作为辅助任务,下游能力提升且训练时间无额外开销。模型越大收益越明显,在代码等生成式基准上提升最大:13B 模型在 HumanEval 多解决 12% 的问题、MBPP 多 17%;用 4 词元预测训练的模型推理最多快 3 倍。

HN 为什么提它

HN 上的人把它当作 MTP 技术的出处,强调它是训练侧的方法、与推测解码相关但并不相同,并期待它让字节级分词模型更实用。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1自回归语言模型与下一词元预测
2Transformer 架构
3推测解码(speculative decoding)
4代码生成评测(HumanEval、MBPP)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐Tostino · 2024-07

“could be a significant development that makes byte-level tokenization models more practical”

认为它可能是个重要进展,让字节级分词模型更实用
A multimodal dataset with one trillion tokens原评论 ↗
引用logickkk1 · 2026-05

“MTP is the training-side piece.”

说明 MTP 是训练侧的技术,与推测解码不同
Accelerating Gemma 4: faster inference with multi-token prediction drafters原评论 ↗
引用fulafel · 2026-05

“Credit for the MTP technique is due to”

指出 MTP 技术的功劳应归于这篇 2024 年的论文
Accelerating Gemma 4: faster inference with multi-token prediction drafters原评论 ↗
引用fulafel · 2026-05

“Researchers at Meta came up with MTP, a smarter way of doing speculative decoding in 2024:”

指出 Meta 研究者 2024 年提出的 MTP 是更聪明的推测解码
Accelerating Gemma 4: faster inference with multi-token prediction drafters原评论 ↗
被提交为 story · 2 次