“But they only showed evidence for improvement on specific tasks, not general performance, which is an important distinction.”
ByT5: Towards a token-free future with pre-trained byte-to-byte models
标准 Transformer 直接处理字节,免分词器且对噪声更稳健
多数预训练语言模型处理的是词或子词单元的 token 序列,而无分词器模型直接处理原始文本(字节或字符),能开箱即用处理任何语言、对噪声更稳健,并去掉复杂易错的文本预处理流程。由于字节序列更长,以往工作常设计新架构来分摊成本;这篇论文表明,只需极少修改,标准 Transformer 就能处理字节序列。作者刻画了参数量、训练 FLOPs 和推理速度上的权衡,显示字节级模型与词元级模型相比有竞争力,对噪声明显更稳健,在对拼写和发音敏感的任务上表现更好,并发布了基于 T5 架构的一组字节级预训练模型及全部代码和数据。
HN 上的人反复用它说明字节级模型能和子词模型竞争,对错别字更稳健、更擅长字符级任务,免去 BPE 带来的麻烦,不过也有人指出其改进只在特定任务上有证据。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先建立 Transformer 与 T5 的基础,再了解子词分词的局限与已有的字符、字节级模型,最后读 ByT5 如何用标准 Transformer 直接处理字节。
- 1
- 2
ByT5 基于 T5 的框架与预训练设置,直接与 mT5 比较。
读文本到文本框架、span corruption 预训练目标;跳过大规模消融。
- 3Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates
说明子词切分本身有不确定性,这是 token-free 想绕开的问题之一。
读Unigram 语言模型分词与子词正则化的基本想法。
- 4
较早的完全字符级无显式分词的神经翻译,是 token-free 路线的先例。
读字符级编码的结构,以及处理更长序列的办法。
- 5
用线性时间的卷积结构处理字符序列,对应 token-free 工作里降低长序列成本的做法。
读ByteNet 的结构(扩张卷积、编码器-解码器堆叠)以及它如何处理字符序列。
- 6
同期的无分词编码器,用下采样降低长度;ByT5 则不改架构,是直接对照。
读CANINE 的字符输入、下采样机制,以及与 ByT5 思路的差异。
- 7ByT5: Towards a token-free future with pre-trained byte-to-byte models
目标论文:用标准 Transformer 直接处理字节的预训练模型。
读字节级模型相对 mT5 的参数分配调整、对噪声的稳健性与推理速度代价。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Actually very competitive: ByT5 (Especially if you account for all the time and effort and subtle bugs caused by BPEs.)”
“The ByT5 paper shows significantly better resilient to typos and names in common benchmarks”
“Look at the ByT5 family[1] of models for instance.”
“drop in a character-tokenized LLM instead, even an obsolete & dumb one, and it instantly works”
“the simplest being to treat bytes as tokens (cf: Google's ByT5[1]).”