讨论串评论jedharris · 2025-10
“"Our results show that simple algorithmic improvements can enable significantly more data-efficient pre-training in a compute-rich future."”
数据受限而算力充裕时,如何做出更数据高效的预训练
论文研究在数据固定、算力不设限时如何预训练语言模型。作者发现单纯增加训练轮数和参数量最终会过拟合,把正则化调好后(最优 weight decay 比常规做法大 30 倍)损失随参数量按幂律单调下降,再用集成独立训练的模型进一步压低渐近线。组合方案在 200M token 下达到比基线少用 5.17 倍数据的渐近损失,集成还可蒸馏为小 8 倍、保留 83% 集成收益的学生模型,并能迁移到下游基准。
输入没有给出具体评论摘录,只知道有 3 位评论者在 3 个不同月份提到它,具体讨论角度无法确定。
“"Our results show that simple algorithmic improvements can enable significantly more data-efficient pre-training in a compute-rich future."”