按年被提到
20212022 · 2 次2026
大模型与语言模型›量化、解码与分词·arXiv:2105.13626 · cs.CL

ByT5: Towards a token-free future with pre-trained byte-to-byte models

ByT5:迈向无分词器未来的预训练字节到字节模型
Linting Xue, Aditya Barua, Noah Constant, Rami Al-Rfou, Sharan Narang, Mihir Kale, Adam Roberts, Colin Raffel · 2021

标准 Transformer 直接处理字节,免分词器且对噪声更稳健

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2022-05-16 · 最近 2026-06-20
4不同的人
6活跃月份
6讨论串
364被引(OpenAlex)

多数预训练语言模型处理的是词或子词单元的 token 序列,而无分词器模型直接处理原始文本(字节或字符),能开箱即用处理任何语言、对噪声更稳健,并去掉复杂易错的文本预处理流程。由于字节序列更长,以往工作常设计新架构来分摊成本;这篇论文表明,只需极少修改,标准 Transformer 就能处理字节序列。作者刻画了参数量、训练 FLOPs 和推理速度上的权衡,显示字节级模型与词元级模型相比有竞争力,对噪声明显更稳健,在对拼写和发音敏感的任务上表现更好,并发布了基于 T5 架构的一组字节级预训练模型及全部代码和数据。

HN 为什么提它

HN 上的人反复用它说明字节级模型能和子词模型竞争,对错别字更稳健、更擅长字符级任务,免去 BPE 带来的麻烦,不过也有人指出其改进只在特定任务上有证据。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 与 T5 架构
2分词与子词编码(BPE)
3语言模型预训练
4计算量(FLOPs)与推理效率

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先建立 Transformer 与 T5 的基础,再了解子词分词的局限与已有的字符、字节级模型,最后读 ByT5 如何用标准 Transformer 直接处理字节。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    ByT5 基本沿用 Transformer 的架构,只改输入表示。

    读编码器-解码器结构与自注意力;注意序列长度对计算量的影响。

  2. 2
    Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer探索迁移学习的极限:统一的文本到文本 Transformer · 2019

    ByT5 基于 T5 的框架与预训练设置,直接与 mT5 比较。

    读文本到文本框架、span corruption 预训练目标;跳过大规模消融。

  3. 3
    Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates子词正则化:用多个子词候选改进神经网络翻译模型 · 2018

    说明子词切分本身有不确定性,这是 token-free 想绕开的问题之一。

    读Unigram 语言模型分词与子词正则化的基本想法。

  4. 4

    较早的完全字符级无显式分词的神经翻译,是 token-free 路线的先例。

    读字符级编码的结构,以及处理更长序列的办法。

  5. 5

    用线性时间的卷积结构处理字符序列,对应 token-free 工作里降低长序列成本的做法。

    读ByteNet 的结构(扩张卷积、编码器-解码器堆叠)以及它如何处理字符序列。

  6. 6

    同期的无分词编码器,用下采样降低长度;ByT5 则不改架构,是直接对照。

    读CANINE 的字符输入、下采样机制,以及与 ByT5 思路的差异。

  7. 7
    ByT5: Towards a token-free future with pre-trained byte-to-byte modelsByT5:迈向无分词器未来的预训练字节到字节模型 · 2021 · 就是这篇

    目标论文:用标准 Transformer 直接处理字节的预训练模型。

    读字节级模型相对 mT5 的参数分配调整、对噪声的稳健性与推理速度代价。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评sillysaurusx · 2023-03

“But they only showed evidence for improvement on specific tasks, not general performance, which is an important distinction.”

Cerebras-GPT vs. LLaMA AI Model Performance Comparison原评论 ↗
引用gwern · 2022-05

“Actually very competitive: ByT5 (Especially if you account for all the time and effort and subtle bugs caused by BPEs.)”

拿它证明字节级模型很有竞争力,还省去 BPE 带来的麻烦和 bug
Teaching GPT-3 to reverse words原评论 ↗
引用yunyu · 2022-12

“The ByT5 paper shows significantly better resilient to typos and names in common benchmarks”

指出 ByT5 在常见基准上对拼写错误和人名明显更稳健
ChatGPT, Rot13, and Daniel Kahneman原评论 ↗
引用woadwarrior01 · 2023-04

“Look at the ByT5 family[1] of models for instance.”

以 ByT5 系列为例,说明可以不用 token 的字节级模型
A Baby GPT原评论 ↗
引用gwern · 2024-08

“drop in a character-tokenized LLM instead, even an obsolete & dumb one, and it instantly works”

引用它说明字节级模型能处理子词分词器做不好的字符任务
Markov chains are funnier than LLMs原评论 ↗
引用woadwarrior01 · 2026-06

“the simplest being to treat bytes as tokens (cf: Google's ByT5[1]).”

举 Google 的 ByT5 为例,最简单的做法是把字节当作 token
Data Compression Explained原评论 ↗