按年被提到
20242024 · 2 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2404.09937 · cs.CL

Compression Represents Intelligence Linearly

压缩能力与智能呈线性关系
Yuzhen Huang, Jinghan Zhang, Zifei Shan, Junxian He · 2024

31 个公开 LLM 的压缩能力与基准得分近似线性相关

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2024-04-16 · 最近 2026-10-29
3不同的人
3活跃月份
3讨论串
14被引(OpenAlex)

论文把 LLM 当作数据压缩器,用 12 个基准上的平均得分代表知识、常识、代码和数学推理方面的“智能”,考察了来自不同机构的 31 个公开模型。结果发现模型在外部文本语料上的压缩能力与平均基准得分几乎呈线性相关,为“压缩越好智能越高”的说法提供了实证,并提示压缩效率可作为无监督的评测指标。作者开源了压缩数据集和数据收集流程。

HN 为什么提它

评论者借它支持“压缩即智能”的想法,并引用 LLM 在英文文本上能达到很高压缩率的例子。

实证研究难度 3 / 5约 25 分钟经得起时间
读之前最好知道
1语言建模(language modeling)
2信息论与数据压缩基础
3LLM 评测基准
4每字符比特数(bits per character)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐Hasz · 2026-10

“I really like the idea that compression is intelligence”

很喜欢“压缩即智能”这个想法
H.264 Is Magic (2016)原评论 ↗
引用Legend2440 · 2024-05

“LLMs can get compression ratios as high as 95% (0.4 bits per character) on english text.”

引用它说明 LLM 对英文文本的压缩率可高达 95%(每字符 0.4 比特)
Using a LLM to compress text原评论 ↗
被提交为 story · 1 次