按年被提到
20232023 · 7 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2305.14342 · cs.LG

Sophia: A Scalable Stochastic Second-order Optimizer for Language Model Pre-training

Sophia:用于语言模型预训练的可扩展随机二阶优化器
Hong Liu, Zhiyuan Li, David Hall, Percy Liang, Tengyu Ma · 2023

以轻量对角 Hessian 估计做预条件,使 GPT 预训练步数比 Adam 少一半

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 9 人首次 2023-05-24 · 最近 2026-04-23
9不同的人
6活跃月份
8讨论串
64被引(OpenAlex)

论文提出 Sophia(Second-order Clipped Stochastic Optimization):用轻量的对角 Hessian 估计作为预条件子,更新量是梯度滑动平均除以估计 Hessian 的滑动平均,再做逐元素裁剪,以控制最坏情况的更新幅度;对角 Hessian 只每隔若干次迭代估计一次,因此平均每步时间和内存开销可忽略。在 1.25 亿到 15 亿参数的 GPT 模型上,Sophia 在步数、总算力和墙钟时间上相对 Adam 取得 2 倍加速,达到相同困惑度所需的步数少 50%;理论上,在高度简化的设定中,其运行时间界不依赖损失的条件数。

HN 为什么提它

HN 上的人把它当作号称用更少步数收敛、有望替代 Adam 的二阶优化器来讨论和询问。

方法难度 4 / 5约 60 分钟有时效性
读之前最好知道
1随机梯度下降与 Adam 优化器
2Hessian 矩阵与二阶优化
3语言模型预训练与 GPT
4损失曲面条件数

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用pumanoir · 2023-05

“diff eqs are used to create optimizers that improve upon the classic 'adam' say, such as the new 'sophia' [1].”

举 Sophia 为例,说明有改进经典 Adam 的新优化器
MITx Differential Equations starts May 31原评论 ↗
引用dwrodri · 2023-06

“I wonder if the SOPHIA[1] optimizer would also help here?”

想知道 Sophia 优化器在这里是否也有帮助
Notes on training BERT from scratch on an 8GB consumer GPU原评论 ↗
引用oersted · 2023-06

“According to the paper [2], SOPHIA has shown promising results in various deep learning tasks.”

说 Sophia 在多种深度学习任务上显示出有希望的结果
Notes on training BERT from scratch on an 8GB consumer GPU原评论 ↗
引用josephg · 2023-08

“What are your thoughts on Sophia, an algorithmic replacement for ADAM which promises to converge in fewer steps?”

询问对 Sophia 的看法,它号称能替代 Adam 并用更少步数收敛
Risky Giant Steps Can Solve Optimization Problems Faster原评论 ↗
被提交为 story · 5 次