按年被提到
20242024 · 1 次2026
机器学习与深度学习›优化与可微编程·arXiv:2411.16085 · cs.LG

Cautious Optimizers: Improving Training with One Line of Code

谨慎优化器:一行代码改进训练
Kaizhao Liang, Lizhang Chen, Bo Liu, Qiang Liu · 2024

给动量类优化器加一行代码,仅在更新与梯度同号处才更新

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2024-11-28 · 最近 2026-05-07
3不同的人
3活跃月份
3讨论串
10被引(OpenAlex)

论文提出对任何基于动量的优化器做一行 PyTorch 修改,得到「谨慎优化器」(如 C-AdamW、C-Lion)。理论上,该修改保持 Adam 的哈密顿函数,并在 Lyapunov 分析下不破坏收敛保证,还揭示出一整族新优化器。作者选取最简单的一种做实验,在 LLM 预训练和图像分类上都获得稳定加速,且几乎不需额外调超参。

HN 为什么提它

评论者用它说明该方法的做法:在参数更新符号不一致的位置把更新置零,并提到该工作被接收。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1Adam / AdamW 优化器
2动量与梯度下降
3Lyapunov 稳定性分析
4Transformer 预训练基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用minimaltom · 2026-05

“set updates to 0 where theres disagreement in the sign of the parameter update - got accepted!”

介绍该方法:在参数更新符号不一致处把更新置零,并称已被接收
A Theory of Deep Learning原评论 ↗
被提交为 story · 2 次