“diff eqs are used to create optimizers that improve upon the classic 'adam' say, such as the new 'sophia' [1].”
按年被提到
20232023 · 7 次2026
Sophia: A Scalable Stochastic Second-order Optimizer for Language Model Pre-training
Sophia:用于语言模型预训练的可扩展随机二阶优化器
Hong Liu, Zhiyuan Li, David Hall, Percy Liang, Tengyu Ma · 2023
以轻量对角 Hessian 估计做预条件,使 GPT 预训练步数比 Adam 少一半
被提及 · 9 人首次 2023-05-24 · 最近 2026-04-23
9不同的人
6活跃月份
8讨论串
64被引(OpenAlex)
论文提出 Sophia(Second-order Clipped Stochastic Optimization):用轻量的对角 Hessian 估计作为预条件子,更新量是梯度滑动平均除以估计 Hessian 的滑动平均,再做逐元素裁剪,以控制最坏情况的更新幅度;对角 Hessian 只每隔若干次迭代估计一次,因此平均每步时间和内存开销可忽略。在 1.25 亿到 15 亿参数的 GPT 模型上,Sophia 在步数、总算力和墙钟时间上相对 Adam 取得 2 倍加速,达到相同困惑度所需的步数少 50%;理论上,在高度简化的设定中,其运行时间界不依赖损失的条件数。
HN 为什么提它
HN 上的人把它当作号称用更少步数收敛、有望替代 Adam 的二阶优化器来讨论和询问。
方法难度 4 / 5约 60 分钟有时效性
读之前最好知道
1随机梯度下降与 Adam 优化器
2Hessian 矩阵与二阶优化
3语言模型预训练与 GPT
4损失曲面条件数
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用pumanoir · 2023-05
举 Sophia 为例,说明有改进经典 Adam 的新优化器
引用dwrodri · 2023-06
“I wonder if the SOPHIA[1] optimizer would also help here?”
想知道 Sophia 优化器在这里是否也有帮助
引用oersted · 2023-06
“According to the paper [2], SOPHIA has shown promising results in various deep learning tasks.”
说 Sophia 在多种深度学习任务上显示出有希望的结果
引用josephg · 2023-08
“What are your thoughts on Sophia, an algorithmic replacement for ADAM which promises to converge in fewer steps?”
询问对 Sophia 的看法,它号称能替代 Adam 并用更少步数收敛
被提交为 story · 5 次
- Sophia: A Scalable Stochastic Second-Order Optimizer ↗kelseyfrog · 2023-05-24 · 2 分
- Sophia: Stochastic Second-Order Optimizer for Language Model Pre-Training ↗alechammond · 2023-05-27 · 1 分
- Sophia: A Scalable Stochastic Optimizer for Language Model Pre-Training ↗programd · 2023-07-04 · 2 分
- Sophia: Scalable Stochastic 2nd-Order Optimizer for Language Model Pre-Training ↗tosh · 2024-04-07 · 54 分
- Sophia: A Scalable Second-Order Optimizer for Language Model Pre-Training ↗Anon84 · 2026-04-23 · 2 分