推荐Hasz · 2026-10
“I really like the idea that compression is intelligence”
很喜欢“压缩即智能”这个想法
31 个公开 LLM 的压缩能力与基准得分近似线性相关
论文把 LLM 当作数据压缩器,用 12 个基准上的平均得分代表知识、常识、代码和数学推理方面的“智能”,考察了来自不同机构的 31 个公开模型。结果发现模型在外部文本语料上的压缩能力与平均基准得分几乎呈线性相关,为“压缩越好智能越高”的说法提供了实证,并提示压缩效率可作为无监督的评测指标。作者开源了压缩数据集和数据收集流程。
评论者借它支持“压缩即智能”的想法,并引用 LLM 在英文文本上能达到很高压缩率的例子。
“I really like the idea that compression is intelligence”
“LLMs can get compression ratios as high as 95% (0.4 bits per character) on english text.”