按年被提到
20252025 · 3 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2509.14786 · cs.LG

Pre-training under infinite compute

无限算力下的预训练
Konwoo Kim, Suhas Kotha, Percy Liang, Tatsunori Hashimoto · 2025

数据受限而算力充裕时,如何做出更数据高效的预训练

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2025-09-23 · 最近 2025-11-05
3不同的人
3活跃月份
3讨论串
0被引(OpenAlex)

论文研究在数据固定、算力不设限时如何预训练语言模型。作者发现单纯增加训练轮数和参数量最终会过拟合,把正则化调好后(最优 weight decay 比常规做法大 30 倍)损失随参数量按幂律单调下降,再用集成独立训练的模型进一步压低渐近线。组合方案在 200M token 下达到比基线少用 5.17 倍数据的渐近损失,集成还可蒸馏为小 8 倍、保留 83% 集成收益的学生模型,并能迁移到下游基准。

HN 为什么提它

输入没有给出具体评论摘录,只知道有 3 位评论者在 3 个不同月份提到它,具体讨论角度无法确定。

实证研究难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1语言模型预训练与缩放定律(scaling law)
2正则化与权重衰减(weight decay)
3过拟合与多轮训练(epoching)
4模型集成与知识蒸馏

HN 书评

没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)
讨论串评论jedharris · 2025-10

“"Our results show that simple algorithmic improvements can enable significantly more data-efficient pre-training in a compute-rich future."”

Pretraining Under Infinite Compute原评论 ↗
被提交为 story · 3 次