推荐Tostino · 2024-07
“could be a significant development that makes byte-level tokenization models more practical”
认为它可能是个重要进展,让字节级分词模型更实用
训练时让模型一次预测多个后续词元,提升效率并加速推理
提出训练语言模型时在每个位置用 n 个独立输出头、基于共享主干同时预测后续 n 个词元,把多词元预测作为辅助任务,下游能力提升且训练时间无额外开销。模型越大收益越明显,在代码等生成式基准上提升最大:13B 模型在 HumanEval 多解决 12% 的问题、MBPP 多 17%;用 4 词元预测训练的模型推理最多快 3 倍。
HN 上的人把它当作 MTP 技术的出处,强调它是训练侧的方法、与推测解码相关但并不相同,并期待它让字节级分词模型更实用。
“could be a significant development that makes byte-level tokenization models more practical”
“MTP is the training-side piece.”
“Credit for the MTP technique is due to”
“Researchers at Meta came up with MTP, a smarter way of doing speculative decoding in 2024:”