按年被提到
20232024 · 2 次2026
大模型与语言模型›量化、解码与分词·arXiv:2306.04050 · cs.IT

LLMZip: Lossless Text Compression using Large Language Models

LLMZip:用大语言模型做无损文本压缩
Chandra Shekhara Kaushik Valmeekam, Krishna Narayanan, Dileep Kalathil, Jean-Francois Chamberland, Srinivas Shakkottai · 2023

用 LLaMA-7B 预测下一词,估计英文熵并做无损压缩

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2024-03-04 · 最近 2025-11-04
4不同的人
4活跃月份
4讨论串
24被引(OpenAlex)

论文以 LLaMA-7B 为下一 token 预测器,给出英语熵渐近上界的新估计,数值明显低于此前已有估计。由此得到的副产品是一种无损文本压缩算法:把 LLM 的预测与无损压缩方案结合。有限实验的初步结果显示,其表现优于 BSC、ZPAQ、paq8h 等先进文本压缩方案。

HN 为什么提它

HN 上的人在讨论文本压缩时提它,说明用 LLM 的下一词概率驱动算术编码能得到远好于传统压缩器的结果。

实证研究难度 3 / 5约 25 分钟经得起时间
读之前最好知道
1信息熵与香农信息论
2算术编码(arithmetic coding)
3语言模型的下一词预测
4无损压缩基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐PaulHoule · 2024-09

“boy do the people in that last paper get a result way better than has been reported so far.”

称这篇论文的 LLM 压缩结果比此前报道的好得多
Ask HN: Can tokenizers go from fixed length tokens to varying length?原评论 ↗
引用eru · 2024-03

“See eg LLMZip and [LINK] or [LINK]”

指出用 LLM 的下一 token 概率配合算术编码做无损压缩
The Era of 1-bit LLMs: ternary parameters for cost-effective computing原评论 ↗
引用avidiax · 2025-07

“You can get much better than that by taking a well-known LLM model and encoding a series of offsets from the most likely sequence of tokens”

说明可以用 LLM 对最可能 token 序列的偏移来编码,压缩效果好得多
Hiding messages in a deck playing cards原评论 ↗
被提交为 story · 1 次