按年被提到
20242025 · 4 次2026
大模型与语言模型›量化、解码与分词·arXiv:2412.09871 · cs.CL

Byte Latent Transformer: Patches Scale Better Than Tokens

Byte Latent Transformer:补丁比 token 扩展性更好
Artidoro Pagnoni, Ram Pasunuru, Pedro Rodriguez, John Nguyen, Benjamin Muller, Margaret Li, Chunting Zhou, Lili Yu, Jason Weston, Luke Zettlemoyer, Gargi Ghosh, Mike Lewis 等 14 人 · 2024

按下一字节熵动态分补丁的字节级大模型,无需分词器

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2024-12-23 · 最近 2026-10-11
8不同的人
7活跃月份
10讨论串
24被引(OpenAlex)

Byte Latent Transformer(BLT)是一种字节级 LLM 架构,把字节按下一字节的熵动态切成不定长补丁作为计算单元,在数据可预测时用长补丁,在复杂处分配更多算力。论文做了首个 FLOP 受控的字节级模型扩展研究,规模达 8B 参数、4T 训练字节,称其首次在大规模下追平基于分词的模型,同时提升推理效率和鲁棒性。在固定推理成本下,同时增大补丁和模型尺寸可获得比分词模型更好的扩展性。

HN 为什么提它

HN 上的人在讨论分词缺陷(如拼写、字符级任务)时引用它,把它当作无需 BPE 分词的代表方案,也有人批评它重新引入缓存和 n-gram。

方法难度 4 / 5约 70 分钟经得起时间
读之前最好知道
1Transformer 架构
2分词与字节对编码(BPE)
3信息熵(entropy)
4语言模型扩展定律(scaling laws)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐mcyc · 2024-12

“Figure 4 is a really good example of why byte-level models are wasting computation.”

称图 4 很好地说明字节级模型在浪费计算
Tokenisation Is NP-Complete原评论 ↗
推荐famouswaffles · 2025-01

“Have you seen the Byte-latent Transformer paper?”

问对方是否看过这篇,字节级模型能大幅改善拼写等字符级任务
DeepSeek-R1原评论 ↗
批评singularity2001 · 2025-02

“In the original Byte Latent Transformer paper they reintroduce ugly caching and n-grams which I'm looking to eliminate.”

批评原论文重新引入了丑陋的缓存和 n-gram,自己想消除
Ask HN: Is anybody building an alternative transformer?原评论 ↗
引用swyx · 2024-12

“was good but didnt turn up Byte Latent Transformer <- which is more recent, more people might want”

指出搜索工具漏掉了这篇更新、更多人想要的字节级 Transformer 论文
Show HN: I made a website to semantically search ArXiv papers原评论 ↗
引用janalsncm · 2025-05

“Interesting recent research from Meta going in what I would call the opposite direction from an interpretability standpoint: Byte Latent Transformer”

认为 Meta 这项研究在可解释性上走了相反方向,用神经补丁取代分词
Tokenization for language modeling: BPE vs. Unigram Language Modeling (2020)原评论 ↗
引用woadwarrior01 · 2026-06

“Also, BLT[2] from Meta and ByteFormer[3] from Apple.”

补充 Meta 的 BLT 和苹果的 ByteFormer 这类字节级方案
Data Compression Explained原评论 ↗
看全部 9 条 →
引用famouswaffles · 2026-09

“See the Byte Latent Transformer - Byte Latent Transformer - where a similar scale byte latent model trained on the same dataset >>> a vanilla transformer on word and character manipulation tasks.”

引它说明同规模同数据下,字节潜模型在词与字符操作任务上远胜标准 Transformer
The LLMentalist Effect (2023)原评论 ↗
引用famouswaffles · 2026-09

“It seems that it can be fixed by simply doing away with Byte Pair Encoding tokenization.”

认为只要抛弃 BPE 分词即可解决,字节级模型拼写远好于 BPE
When did Google get so weird?原评论 ↗
引用armcat · 2026-10

“Byte Latent Transformers (BLT): Byte Latent Transformer”

把 BLT 列为无需 token 的方案:用补丁代替 token
Retrofitting language models to operate over bytes原评论 ↗
被提交为 story · 1 次