按年被提到
20232023 · 6 次2026
大模型与语言模型›量化、解码与分词·arXiv:2305.07185 · cs.LG

MEGABYTE: Predicting Million-byte Sequences with Multiscale Transformers

MEGABYTE:用多尺度 Transformer 预测百万字节序列
Lili Yu, Dániel Simig, Colin Flaherty, Armen Aghajanyan, Luke Zettlemoyer, Mike Lewis · 2023

多尺度解码器架构,让无分词的字节级模型处理百万字节序列

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2023-05-15 · 最近 2025-10-22
8不同的人
4活跃月份
8讨论串
32被引(OpenAlex)

MEGABYTE 把序列切成 patch,patch 内用局部子模型、patch 之间用全局模型,实现次二次方的自注意力、同等算力下更大的前馈层,以及更好的解码并行度。实验显示字节级模型在长上下文语言建模上可与子词模型竞争,在 ImageNet 密度估计上达到当时最优,并能直接对原始音频文件建模,说明无分词的自回归序列建模在规模上是可行的。

HN 为什么提它

HN 上的人在讨论“能否去掉分词器”时,把它当作最有前景的无分词(tokenization-free)LLM 架构来推荐,并用它与后续的字节级工作对比。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 与自注意力
2分词(tokenization)与子词模型
3自回归语言模型
4注意力的二次复杂度

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐airgapstopgap · 2023-06

“Interesting release from Apple but there's been a similar (and I think more promising architecturally) paper from Meta lately:”

推荐 Meta 的这篇论文,认为架构上比苹果的发布更有前景
Bytes Are All You Need: Transformers Operating Directly on File Bytes原评论 ↗
推荐ntonozzi · 2023-06

“The most effective architecture for LLMs without tokenization is Meta's MEGABYTE architecture: MEGABYTE.”

推荐 Meta 的 MEGABYTE,称其为无需分词的 LLM 中最有效的架构
Weird GPT-4 behavior for the specific string “ davidjl”原评论 ↗
引用crakenzak · 2023-05

“Paper: MEGABYTE”

贴出 MEGABYTE 论文链接
Meta AI Unleashes Megabyte, a Revolutionary Scalable Model Architecture原评论 ↗
引用kristjansson · 2024-02

“That's been on the table e.g. [0][1].”

指出跳过分词早就有人尝试过,并列出相关工作
LongRoPE: Extending LLM Context Window Beyond 2M Tokens原评论 ↗
引用vvolhejn · 2025-10

“For text, there are a few papers that train the tokenization and language model end-to-end, see: MEGABYTE”

指出已有几篇论文把分词和语言模型端到端一起训练,并贴出这篇
Neural audio codecs: how to get audio into LLMs原评论 ↗
被提交为 story · 3 次