按年被提到
20212021 · 1 次2026
大模型与语言模型›量化、解码与分词·arXiv:2106.12672 · cs.CL

Charformer: Fast Character Transformers via Gradient-based Subword Tokenization

Charformer:基于梯度的子词切分的快速字符级 Transformer
Yi Tay, Vinh Q. Tran, Sebastian Ruder, Jai Gupta, Hyung Won Chung, Dara Bahri, Zhen Qin, Simon Baumgartner, Cong Yu, Donald Metzler · 2021

端到端学习子词切分的字节级 Transformer

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2021-06-28 · 最近 2026-10-11
3不同的人
3活跃月份
3讨论串
115被引(OpenAlex)

论文提出 GBST 模块,从字符出发枚举候选子词块并用打分网络按位置软选择,使子词切分成为模型的一部分、可端到端训练;在此基础上构建工作在字节级的 Charformer。实验称它在 GLUE、多语言和含噪文本上优于字节级基线,与子词模型相当,且速度比原始字节级和子词级 Transformer 快 28%–100%。

HN 为什么提它

评论者把它当作“去掉分词器、直接吃字节”的尝试之一,同时指出这类做法效果不如使用预分词输入的模型。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 架构
2子词切分(subword tokenization)
3字节级与字符级语言模型
4GLUE 基准

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解 Transformer 与预训练,再看子词切分与无分词器模型,最后读端到端学习子词切分的 Charformer。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    Charformer 的主干是 Transformer。

    读自注意力与序列长度的代价(字符级序列更长)。

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    给出预训练语言模型使用固定子词词表的标准做法,正是本文想改进的对象。

    读WordPiece 词表与预训练流程。

  3. 3
    Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates子词正则化:用多个子词候选改进神经网络翻译模型 · 2018

    子词切分的随机性与 Unigram 分词,与本文可学习的子词切分相呼应。

    读子词切分候选的概率采样与 Unigram 语言模型。

  4. 4

    CANINE 是无分词器的字符级编码器,是本文的对照。

    读字符下采样与上采样的做法。

  5. 5
    ByT5: Towards a token-free future with pre-trained byte-to-byte modelsByT5:迈向无分词器未来的预训练字节到字节模型 · 2021

    ByT5 直接处理字节,是本文对比的另一类无分词器方案。

    读字节级输入下序列变长的代价与对噪声的稳健性。

  6. 6
    Charformer: Fast Character Transformers via Gradient-based Subword TokenizationCharformer:基于梯度的子词切分的快速字符级 Transformer · 2021 · 就是这篇

    目标论文:用基于梯度的子词切分模块端到端学习切分,并保持速度。

    读GBST 如何枚举候选块、位置打分并下采样。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用karterk · 2024-09

“There have been a few attempts at building this [1] but it just does not work as well as models that consume pre-tokenized strings.”

指出已有字节级 Transformer 的尝试,但不如预分词输入的模型
I fixed the strawberry problem because OpenAI couldn't原评论 ↗
引用armcat · 2026-10

“Charformer: Charformer”

列出 Charformer,基于梯度的子词切分字符级 Transformer
Retrofitting language models to operate over bytes原评论 ↗
被提交为 story · 1 次