按年被提到
20242025 · 3 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2404.05405 · cs.CL

Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws

语言模型物理学 第3.3部分:知识容量的缩放定律
Zeyuan Allen-Zhu, Yuanzhi Li · 2024

语言模型每个参数最多存约2比特知识

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2024-04-09 · 最近 2025-10-04
5不同的人
5活跃月份
5讨论串
32被引(OpenAlex)

不同于以损失或基准成绩衡量能力,论文估算模型存储的“知识比特数”,以 (USA, capital, Washington D.C.) 这类事实元组为对象,用多组受控数据集建立结论:语言模型每个参数能且只能存约 2 比特知识,即使量化到 int8 也成立,因此 7B 模型可存 140 亿比特。论文还给出 12 项结果,涉及训练时长、架构、量化、MoE 稀疏性和数据信噪比的影响,例如带旋转位置编码的 GPT-2 架构在知识存储上可匹敌甚至超过 LLaMA/Mistral,训练数据前加域名能显著提高知识容量。

HN 为什么提它

HN 评论者把它当作“每个参数大约只能记 2 比特知识”的经验法则来引用,并用它说明模型会按来源域名给数据加权、记忆容量有限。

实证研究难度 4 / 5约 120 分钟经得起时间
读之前最好知道
1语言模型的缩放定律(scaling laws)
2Transformer 与 GPT-2、LLaMA 架构差异
3模型量化与 MoE 稀疏
4信息论中的比特

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先建立 Transformer、GPT-3 与缩放定律的基础,再补上稀疏专家模型(MoE、Switch Transformer)的参数量背景,然后读按知识比特衡量模型容量的缩放定律。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    被研究的语言模型就是 Transformer 类架构。

    读各层与参数的构成,便于理解参数量与容量的对应。

  2. 2
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    大模型预训练范式与规模效应的代表工作。

    读模型规模与能力的关系。

  3. 3
    Scaling Laws for Neural Language Models神经语言模型的缩放定律 · 2020

    论文要对照的传统缩放定律是用损失来衡量的。

    读损失与参数量、数据量的幂律关系,对照论文改用知识比特的做法。

  4. 4
    Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer超大规模神经网络:稀疏门控的专家混合层 · 2017

    稀疏专家层让参数量与计算量脱钩,涉及模型容量的讨论。

    读稀疏门控 MoE 层的结构,思考参数量与容量的关系。

  5. 5
    Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient SparsitySwitch Transformer:用简单高效的稀疏性扩展到万亿参数模型 · 2021

    简化后的 MoE 路由,进一步说明参数规模如何扩展。

    读Switch 路由与稀疏参数规模。

  6. 6
    Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws语言模型物理学 第3.3部分:知识容量的缩放定律 · 2024 · 就是这篇

    目标论文:用知识比特衡量模型容量,得出每个参数约 2 比特的上限。

    读知识元组的受控数据集、2 比特每参数的结论,以及量化与训练暴露次数的影响。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用smaddox · 2024-06

“Because existing LLMs store no more than 2bits of knowledge per parameter”

引用它的说法:现有 LLM 每个参数最多存储约 2 比特知识
Researchers run high-performing LLM on the energy needed to power a lightbulb原评论 ↗
引用huac · 2025-01

“essentially they can learn 'wikipedia good, your random website bad' without any other explicit labels. Physics of Language Models and also another recent paper that I don't recall...”

引用它说明模型能自己学会“维基百科好、随机网站差”,无需额外标签
Nepenthes is a tarpit to catch AI web crawlers原评论 ↗
引用kouteiheika · 2025-06

“LLMs have limited capacity to memorize, under ~4 bits per parameter[1][2], and are trained on terabytes of data.”

引用它说明 LLM 的记忆容量有限,每参数约 4 比特以下,却要训练数 TB 数据
Meta's Llama 3.1 can recall 42 percent of the first Harry Potter book原评论 ↗
引用bconsta · 2025-10

“There is a study that gives a rule of thumb of ~2 bits per param for a model's memorization capacity”

引用这项研究给出的经验值:模型记忆容量约每参数 2 比特
How to inject knowledge efficiently? Knowledge infusion scaling law for LLMs原评论 ↗
被提交为 story · 1 次