按年被提到
20202023 · 11 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2001.08361 · cs.LG

Scaling Laws for Neural Language Models

神经语言模型的缩放定律
Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei · 2020

语言模型损失随参数、数据、算力按幂律下降

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 34 人首次 2020-01-25 · 最近 2026-10-26
34不同的人
33活跃月份
36讨论串
3,939被引(OpenAlex)

论文研究语言模型交叉熵损失的经验缩放规律:损失随模型规模、数据集规模和训练算力呈幂律下降,部分趋势跨越七个数量级以上,而宽度、深度等架构细节在较宽范围内影响很小。简单的方程描述了过拟合对模型和数据规模的依赖以及训练速度对模型规模的依赖,据此可确定固定算力预算的最优分配;更大的模型样本效率明显更高,算力最优的训练是用较少数据训练很大的模型并在远未收敛时停止。

HN 为什么提它

HN 上的人把它当作解释为什么大模型表现可预测地提升、训练大模型为何值得的规范论文,也常拿它和后来的 Chinchilla 缩放定律比较。

实证研究难度 3 / 5约 90 分钟经得起时间
读之前最好知道
1Transformer 与语言模型
2交叉熵损失(cross-entropy loss)
3幂律(power law)与对数坐标图的阅读
4训练算力(FLOPs)与过拟合的概念

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先掌握 Transformer 语言模型的结构与子词分词,再了解批量大小、数据并行和模型缩放的已有认识,就能读懂缩放定律中各个变量的含义。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    论文研究的对象就是 Transformer 语言模型

    读解码器结构与参数量构成(层数、宽度、前馈维度),为后面按参数量缩放做准备

  2. 2
    Neural Machine Translation of Rare Words with Subword Units基于子词单元的稀有词神经机器翻译 · 2015

    论文所用的分词方式(BPE 子词)来自这里

    读BPE 合并规则的算法;理解词表大小与序列长度的关系

  3. 3
    Universal Transformers通用 Transformer · 2018

    论文拿它做对比,检验结构细节对损失影响不大

    读循环式深度共享参数的思路;对照“形状影响小”的结论

  4. 4
    EfficientNet: Rethinking Model Scaling for Convolutional Neural NetworksEfficientNet:重新思考卷积神经网络的模型缩放 · 2019

    视觉领域按深度、宽度、分辨率复合缩放的先例

    读复合缩放(compound scaling)的思想;对照语言模型的缩放方式

  5. 5

    批量大小与训练步数、数据并行关系的实证研究

    读临界批量与训练步数–批量的权衡曲线;理解论文中的 S_min 与 E_min

  6. 6
    An Empirical Model of Large-Batch Training大批量训练的经验模型 · 2018

    论文用梯度噪声尺度来推导临界批量大小

    读梯度噪声尺度的定义与它预测最大有效批量的方法

  7. 7
    Scaling Laws for Neural Language Models神经语言模型的缩放定律 · 2020 · 就是这篇

    目标论文:给出损失随规模变化的幂律

    读第 1 节总结的主要结论与各幂律公式;第 6 节的算力最优分配

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
强烈推荐duchenne · 2023-12

“The most important paper to understand this issue is”

强烈推荐,称是理解这一问题最重要的论文
Do large language models need all those layers?原评论 ↗
强烈推荐dannyw · 2026-10

“a must read IMO Scaling Laws for Neural Language Models”

强烈推荐,认为这是必读论文
Attention Is Not What You Need (2025)原评论 ↗
推荐Inufu · 2021-02

“the best evidence we currently have for this was published: scaling laws for natural language understanding”

推荐它作为性能随数据和算力对数增长的最佳证据
Complexity No Bar to AI原评论 ↗
推荐vonneumannstan · 2025-01

“This is the canonical paper.”

称它是语言模型缩放定律的经典论文
The impact of competition and DeepSeek on Nvidia原评论 ↗
引用gwern · 2020-01

“For example, look at OpenAI's latest paper on scaling Transformers”

引用 OpenAI 这篇论文,说明 Transformer 越大损失越低
Talking to myself: how I trained GPT2-1.5b for rubber ducking using my chat data原评论 ↗
引用Reelin · 2020-09

“There's actually a paper that attempts to quantify the scaling characteristics of NLP models from early this year.”

指出已有论文尝试量化 NLP 模型的缩放特性
Learning@home hivemind – train large neural networks across the internet原评论 ↗
看全部 20 条 →
引用jne2356 · 2021-01

“conducted their hyperparameter sweep on significantly smaller models (see: Scaling Laws for Neural Language Models)”

引用它说明超参数扫描是在小得多的模型上做的
GPT-Neo – Building a GPT-3-sized model, open source and free原评论 ↗
引用criticaltinker · 2021-08

“is starting to become a major trend in NLP”

拿它说明模型越大性能可预测地提升,已成 NLP 主要趋势
Program Synthesis with Large Language Models原评论 ↗
引用sanxiyn · 2021-10

“Large language models are motivated by empirical scaling law.”

指出大语言模型的动机来自经验缩放定律
Megatron-Turing NLG 530B, the World’s Largest Generative Language Model原评论 ↗
引用kmod · 2022-03

“My main takeaway from that paper is that a 2x increase in training cost improves performance by 5% (100x by 42%).”

概括要点:训练成本翻倍,性能约提升 5%
It’s Like GPT-3 but for Code – Fun, Fast, and Full of Flaws原评论 ↗
引用airgapstopgap · 2023-01

“These papers have introduced so-called "scaling laws" – predictable, robust relationships between scaling parameters and loss”

引用它说明规模参数与损失之间有可预测的稳健关系
Transcending Scaling Laws with 0.1% Extra Compute原评论 ↗
引用hackinthebochs · 2023-02

“If you scaled the architecture down significantly, it would be significantly less capable[1].”

引用它说明把架构大幅缩小会明显削弱能力
Bing AI Can't Be Trusted原评论 ↗
引用sandGorgon · 2023-02

“umm...so does OpenAI. In fact this is OpenAI discovery from [1]:”

引用 OpenAI 的发现:最优训练远未到收敛就该停止
LLaMA: A foundational, 65B-parameter large language model原评论 ↗
引用blackbear_ · 2023-03

“after which their abilities quickly become impressive (read more here: Scaling Laws for Neural Language Models)”

作为参数足够多后能力迅速涌现这一说法的出处
Newer data once again shows: the human brain is just a scaled up primate brain原评论 ↗
引用ftxbro · 2023-04

“The ones I had in mind were the newer 'Chinchilla' scaling laws ([OTHER_PAPER]) vs. the older 'Kaplan' scaling laws”

拿它当较早的 Kaplan 缩放定律,与新的 Chinchilla 对比
OpenAI’s CEO confirms the company isn’t training GPT-5 and ‘won’t for some time’原评论 ↗
引用ppaattrriicckk · 2023-05

“E.g. look at Figure 9 in [3].”

指出其图 9 显示最大的模型数据利用效率最高
Intel Announces Aurora GenAI, ChatGPT Competitor with 1T Parameters原评论 ↗
引用espadrine · 2023-07

“OpenAI’s scaling law paper[0] calls the “entropy of natural language””

引用缩放定律论文对自然语言熵的估计
Which GPU(s) to Get for Deep Learning原评论 ↗
引用circuit10 · 2023-08

“I haven’t actually read this but I know roughly what it’s about”

坦言没读过,只知道大意:LLM 能力随参数量和数据量增长
How Is LLaMa.cpp Possible?原评论 ↗
引用swyx · 2023-09

“2020 coauthor on scaling laws Scaling Laws for Neural Language Models”

在履历里列出作者参与合著的 2020 年缩放定律论文
What OpenAI Really Wants原评论 ↗
引用lappa · 2023-10

“More data, more parameters, more compute all result in a better model per”

概括经验缩放定律:数据、参数、算力越多,模型越好
Consortium launched to build the largest open LLM原评论 ↗