推荐tmnvdb · 2025-02
“Slightly old by the standards of this field, but a good overview: Algorithmic progress in language models.”
推荐它作为语言模型真实效率提升的好概述,虽然按这个领域标准略旧
估算语言模型算法进步速度:约每 8 个月算力需求减半
论文用 2012–2023 年间 200 多个在 Wikitext 与 Penn Treebank 上的语言模型评测数据,估计预训练算法的进步速度:达到同一性能所需算力约每 8 个月减半(95% 置信区间约 5 到 14 个月),快于摩尔定律下的硬件进步。作者估计了增强的缩放定律,量化扩大模型与改进训练算法各自的贡献,发现总体上算力增长的贡献更大;但受限于有噪声的基准数据。
HN 上的人引用它作为语言模型真实效率提升的概览,并用来说明算法改进正在快速压低能耗成本。
“Slightly old by the standards of this field, but a good overview: Algorithmic progress in language models.”
“which primarily shows how quickly algorithmic improvements are bringing down energy costs[0]”