按年被提到
20252025 · 3 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2503.13423 · cs.CL

SuperBPE: Space Travel for Language Models

SuperBPE:语言模型的空间旅行
Alisa Liu, Jonathan Hayase, Valentin Hofmann, Sewoong Oh, Noah A. Smith, Yejin Choi · 2025

让 BPE 先学子词再学跨空格的超词,token 更少、效果更好

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2025-03-29 · 最近 2025-06-24
3不同的人
3活跃月份
3讨论串
—被引(OpenAlex)

论文质疑几乎所有语言模型分词方案默认 token 为子词(不跨词边界)是否限制了模型,因为空格并非可靠的语义边界。他们提出 SuperBPE 分词器,在 BPE 中加入简单的预分词课程:先学子词,再学跨越空格的超词。词表固定为 200k 时,SuperBPE 编码同一文本平均最多少 33% 的 token;固定模型规模、词表和训练算力、只改词表学习算法来预训练 8B 模型,在 30 个下游任务上平均比 BPE 基线绝对提高 4.0%(MMLU 提高 8.2%),推理算力减少 27%。

HN 为什么提它

评论者把它当作目标相近的并行工作来对比,并指出数字分组等效果可以只靠修改预分词正则实现,不必显式加逗号。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1字节对编码(BPE)与分词
2Transformer 语言模型
3预分词正则与词表大小
4语言模型预训练基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用woodson · 2025-05

“How does this differ from SuperBPE, which seems to pursue a similar goal? SuperBPE”

问这个工作与目标相似的 SuperBPE 有何不同
Tokenization for language modeling: BPE vs. Unigram Language Modeling (2020)原评论 ↗
引用cschmidt · 2025-06

“Both SuperBPE and [OTHER_PAPER] (co-author) both independently noted that you can do this with just by modifying the pre-tokenization regex, without having to explicitly add commas.”

指出两篇论文都独立发现只需修改 pre-tokenization 正则,无需显式加逗号
The bitter lesson is coming for tokenization原评论 ↗
被提交为 story · 1 次