按年被提到
20242024 · 3 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2403.05812 · cs.CL

Algorithmic progress in language models

语言模型中的算法进步
Anson Ho, Tamay Besiroglu, Ege Erdil, David Owen, Robi Rahman, Zifan Carl Guo, David Atkinson, Neil Thompson, Jaime Sevilla · 2024

估算语言模型算法进步速度:约每 8 个月算力需求减半

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2024-03-12 · 最近 2025-02-09
4不同的人
3活跃月份
4讨论串
—被引(OpenAlex)

论文用 2012–2023 年间 200 多个在 Wikitext 与 Penn Treebank 上的语言模型评测数据,估计预训练算法的进步速度:达到同一性能所需算力约每 8 个月减半(95% 置信区间约 5 到 14 个月),快于摩尔定律下的硬件进步。作者估计了增强的缩放定律,量化扩大模型与改进训练算法各自的贡献,发现总体上算力增长的贡献更大;但受限于有噪声的基准数据。

HN 为什么提它

HN 上的人引用它作为语言模型真实效率提升的概览,并用来说明算法改进正在快速压低能耗成本。

实证研究难度 3 / 5约 50 分钟有时效性
读之前最好知道
1神经语言模型的缩放定律(scaling laws)
2困惑度(perplexity)评测
3计算量(FLOPs)估算
4统计回归与置信区间

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐tmnvdb · 2025-02

“Slightly old by the standards of this field, but a good overview: Algorithmic progress in language models.”

推荐它作为语言模型真实效率提升的好概述,虽然按这个领域标准略旧
Modern-Day Oracles or Bullshit Machines? How to thrive in a ChatGPT world原评论 ↗
引用ctoth · 2024-04

“which primarily shows how quickly algorithmic improvements are bringing down energy costs[0]”

引用它说明算法改进正在迅速降低能耗成本
AI Is Smoke and Mirrors原评论 ↗
被提交为 story · 2 次