“There have been a few attempts at building this [1] but it just does not work as well as models that consume pre-tokenized strings.”
按年被提到
20212021 · 1 次2026
Charformer: Fast Character Transformers via Gradient-based Subword Tokenization
Charformer:基于梯度的子词切分的快速字符级 Transformer
Yi Tay, Vinh Q. Tran, Sebastian Ruder, Jai Gupta, Hyung Won Chung, Dara Bahri, Zhen Qin, Simon Baumgartner, Cong Yu, Donald Metzler · 2021
端到端学习子词切分的字节级 Transformer
被提及 · 3 人首次 2021-06-28 · 最近 2026-10-11
3不同的人
3活跃月份
3讨论串
115被引(OpenAlex)
论文提出 GBST 模块,从字符出发枚举候选子词块并用打分网络按位置软选择,使子词切分成为模型的一部分、可端到端训练;在此基础上构建工作在字节级的 Charformer。实验称它在 GLUE、多语言和含噪文本上优于字节级基线,与子词模型相当,且速度比原始字节级和子词级 Transformer 快 28%–100%。
HN 为什么提它
评论者把它当作“去掉分词器、直接吃字节”的尝试之一,同时指出这类做法效果不如使用预分词输入的模型。
方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 架构
2子词切分(subword tokenization)
3字节级与字符级语言模型
4GLUE 基准
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先理解 Transformer 与预训练,再看子词切分与无分词器模型,最后读端到端学习子词切分的 Charformer。
- 1
- 2
给出预训练语言模型使用固定子词词表的标准做法,正是本文想改进的对象。
读WordPiece 词表与预训练流程。
- 3Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates
子词切分的随机性与 Unigram 分词,与本文可学习的子词切分相呼应。
读子词切分候选的概率采样与 Unigram 语言模型。
- 4
CANINE 是无分词器的字符级编码器,是本文的对照。
读字符下采样与上采样的做法。
- 5
ByT5 直接处理字节,是本文对比的另一类无分词器方案。
读字节级输入下序列变长的代价与对噪声的稳健性。
- 6Charformer: Fast Character Transformers via Gradient-based Subword Tokenization
目标论文:用基于梯度的子词切分模块端到端学习切分,并保持速度。
读GBST 如何枚举候选块、位置打分并下采样。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用karterk · 2024-09
指出已有字节级 Transformer 的尝试,但不如预分词输入的模型
引用armcat · 2026-10
“Charformer: Charformer”
列出 Charformer,基于梯度的子词切分字符级 Transformer
被提交为 story · 1 次
- Charformer: Fast Character Transformers via Gradient-Based Subword Tokenization ↗pjfin123 · 2021-06-28 · 1 分