按年被提到
20242024 · 4 次2026
大模型与语言模型›量化、解码与分词·arXiv:2404.03626 · cs.CL

Training LLMs over Neurally Compressed Text

在神经压缩文本上训练大语言模型
Brian Lester, Jaehoon Lee, Alex Alemi, Jeffrey Pennington, Adam Roberts, Jascha Sohl-Dickstein, Noah Constant · 2024

探索直接在高压缩率的神经压缩文本上训练 LLM,提出等信息窗口

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2024-04-09 · 最近 2024-09-09
4不同的人
3活跃月份
4讨论串
4被引(OpenAlex)

论文探索让 LLM 直接在神经文本压缩器压缩后的高压缩率文本上训练。直接用算术编码压缩的文本很难被模型学会,作者提出 Equal-Info Windows,把文本切成压缩后等长比特的块,使模型能够随规模提升而学习,并在困惑度和推理速度上大幅超过字节级基线。其困惑度仍逊于同参数量的子词分词器,但序列更短、生成步数更少。

HN 为什么提它

评论者把它作为“在熵压缩后的 token 上训练 LLM”的已有尝试:算力效率有所提升,但对语言建模本身没有帮助。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1语言模型与困惑度(perplexity)
2算术编码(arithmetic coding)与信息论基础
3分词器(tokenizer)
4Transformer 架构

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用pizza · 2024-09

“Finally, it's also worth mentioning that somebody did try doing an LLM over entropy compressed tokens - there were some compute efficiency gains, but it didn't really help language modeling:”

补充说有人试过在熵压缩后的 token 上训 LLM,计算效率有提升,但对语言建模没帮助
Ask HN: Can tokenizers go from fixed length tokens to varying length?原评论 ↗
被提交为 story · 3 次