按年被提到
20252025 · 7 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2505.24832 · cs.CL

How much do language models memorize?

语言模型能记住多少?
John X. Morris, Chawin Sitawarin, Chuan Guo, Narine Kokhlikyan, G. Edward Suh, Alexander M. Rush, Kamalika Chaudhuri, Saeed Mahloujifar · 2025

估算语言模型容量约每参数 3.6 比特,并区分记忆与泛化

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2025-06-03 · 最近 2026-09-12
7不同的人
4活跃月份
8讨论串
19被引(OpenAlex)

论文提出一种估计模型对某个数据点掌握多少信息的新方法,并用它衡量现代语言模型的容量。作者把记忆形式化地拆成两部分:非有意记忆(模型包含的关于特定数据集的信息)和泛化(模型包含的关于真实数据生成过程的信息)。完全消除泛化后可算出总记忆量,据此估计 GPT 类模型的容量约为每参数 3.6 比特。模型会一直记忆到容量被填满,随后出现 grokking,非有意记忆下降、模型开始泛化。作者训练了数百个 50 万到 15 亿参数的 Transformer,得到联系模型容量、数据规模与成员推断的扩展定律。

HN 为什么提它

HN 上的人引用它说明 LLM 的记忆容量只有约每参数 3.6 到 4 比特、容量饱和后才开始泛化,并据此讨论量化损失和训练数据规模。

实证研究难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1信息论(比特与熵)
2语言模型预训练
3成员推断攻击(membership inference)
4grokking 与泛化
5Transformer 架构

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐JimDabell · 2025-06

“a related paper that Meta published a couple of days ago that is worth looking at:”

推荐 Meta 前几天发表的相关论文:模型约记忆每个参数 3.6 比特,之后开始泛化
Not all tokens are meant to be forgotten原评论 ↗
推荐cpldcpu · 2026-09

“This paper is highly underrated: How much do language models memorize?”

推荐它,认为被严重低估,估算语言模型记忆与泛化的比特数
LLMs are real, AI is fake原评论 ↗
引用Xmd5a · 2025-06

“How much do language models memorize? tells us generalization happens in LLM once their capacity for remembering things is saturated”

引用它说明 LLM 的记忆容量饱和后才发生泛化
A practical guide to building agents [pdf]原评论 ↗
引用unconstrastive · 2025-06

“FAIR is still doing interesting and useful work on LLMs for encoders [1], training dynamics [2], and multimodality [3]”

举它为例,说明 FAIR 仍在做有价值的 LLM 训练动态研究
Meta invests $14.3B in Scale AI to kick-start superintelligence lab原评论 ↗
引用kouteiheika · 2025-06

“LLMs have limited capacity to memorize, under ~4 bits per parameter[1][2], and are trained on terabytes of data.”

引用它说明 LLM 记忆容量有限,约低于每参数 4 比特
Meta's Llama 3.1 can recall 42 percent of the first Harry Potter book原评论 ↗
引用jychang · 2025-07

“LLMs usually have about 3.6 bits of data per parameter.”

引用它说明模型每个参数约存 3.6 比特,所以 2 bit 量化损失很大
Qwen3-Coder: Agentic coding in the world原评论 ↗
看全部 7 条 →
引用kouteiheika · 2025-09

“the actual capacity of a model to memorize is only at most ~4 bit per parameter[1] instead of full ~8 bits we assumed here”

引用它指出模型记忆容量至多约每参数 4 比特,而非这里假设的约 8 比特
California governor signs AI transparency bill into law原评论 ↗
被提交为 story · 1 次