引用minimaltom · 2026-05
“set updates to 0 where theres disagreement in the sign of the parameter update - got accepted!”
介绍该方法:在参数更新符号不一致处把更新置零,并称已被接收
给动量类优化器加一行代码,仅在更新与梯度同号处才更新
论文提出对任何基于动量的优化器做一行 PyTorch 修改,得到「谨慎优化器」(如 C-AdamW、C-Lion)。理论上,该修改保持 Adam 的哈密顿函数,并在 Lyapunov 分析下不破坏收敛保证,还揭示出一整族新优化器。作者选取最简单的一种做实验,在 LLM 预训练和图像分类上都获得稳定加速,且几乎不需额外调超参。
评论者用它说明该方法的做法:在参数更新符号不一致的位置把更新置零,并提到该工作被接收。
“set updates to 0 where theres disagreement in the sign of the parameter update - got accepted!”