“Because existing LLMs store no more than 2bits of knowledge per parameter”
Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws
语言模型每个参数最多存约2比特知识
不同于以损失或基准成绩衡量能力,论文估算模型存储的“知识比特数”,以 (USA, capital, Washington D.C.) 这类事实元组为对象,用多组受控数据集建立结论:语言模型每个参数能且只能存约 2 比特知识,即使量化到 int8 也成立,因此 7B 模型可存 140 亿比特。论文还给出 12 项结果,涉及训练时长、架构、量化、MoE 稀疏性和数据信噪比的影响,例如带旋转位置编码的 GPT-2 架构在知识存储上可匹敌甚至超过 LLaMA/Mistral,训练数据前加域名能显著提高知识容量。
HN 评论者把它当作“每个参数大约只能记 2 比特知识”的经验法则来引用,并用它说明模型会按来源域名给数据加权、记忆容量有限。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先建立 Transformer、GPT-3 与缩放定律的基础,再补上稀疏专家模型(MoE、Switch Transformer)的参数量背景,然后读按知识比特衡量模型容量的缩放定律。
- 1
- 2
- 3
- 4
稀疏专家层让参数量与计算量脱钩,涉及模型容量的讨论。
读稀疏门控 MoE 层的结构,思考参数量与容量的关系。
- 5
简化后的 MoE 路由,进一步说明参数规模如何扩展。
读Switch 路由与稀疏参数规模。
- 6Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws
目标论文:用知识比特衡量模型容量,得出每个参数约 2 比特的上限。
读知识元组的受控数据集、2 比特每参数的结论,以及量化与训练暴露次数的影响。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“essentially they can learn 'wikipedia good, your random website bad' without any other explicit labels. Physics of Language Models and also another recent paper that I don't recall...”
“LLMs have limited capacity to memorize, under ~4 bits per parameter[1][2], and are trained on terabytes of data.”
“There is a study that gives a rule of thumb of ~2 bits per param for a model's memorization capacity”
- Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws ↗Jimmc414 · 2024-04-09 · 5 分