按年被提到
20172019 · 2 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1711.05101 · cs.LG

Decoupled Weight Decay Regularization

解耦权重衰减正则化
Ilya Loshchilov, Frank Hutter · 2017

指出 Adam 中 L2 正则与权重衰减不等价,提出 AdamW

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2017-11-15 · 最近 2020-07-16
4不同的人
3活跃月份
3讨论串
12,521被引(OpenAlex)

论证 L2 正则化与权重衰减在标准 SGD(按学习率缩放后)中等价,但在 Adam 这类自适应梯度算法中并不等价。提出一个简单修改:把权重衰减与针对损失的优化步骤解耦,以恢复权重衰减的原始形式。实验表明这使最优的权重衰减系数与学习率的选择解耦,并显著改善 Adam 的泛化,使其在图像分类数据集上能与带动量的 SGD 竞争;该方法已被 TensorFlow 和 PyTorch 实现。

HN 为什么提它

评论者引用它说明在自适应梯度方法中 L2 正则与权重衰减并不等价,Adam 配 L2 会比 SGD 差,应改用权重衰减。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1随机梯度下降(SGD)与动量
2Adam 等自适应优化器
3L2 正则化与权重衰减

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用trishume · 2019-01

“which Decoupled Weight Decay Regularization shows leads to worse performance than SGD and you should use weight decay instead.”

引用它说明 L2 正则效果不如 SGD,应改用 weight decay
Cost Comparison of Deep Learning Hardware: Google TPUv2 vs. Nvidia Tesla V100原评论 ↗
引用bigdatarepublic · 2019-01

“They also don't post their code so I can't check that their problems with ADAM aren't due to using L2 regularization, which Decoupled Weight Decay Regularization shows leads to worse performance than SGD and you should use weight decay instead.”

质疑他人对 Adam 的批评可能源于 L2 正则,并引用它主张用 weight decay
Cost Comparison of Deep Learning Hardware: Google TPUv2 vs. Nvidia Tesla V100原评论 ↗
引用aaron-santos · 2020-07

“I thought weight decay and l2 regularization could be equivalent when using SGD[1], but are not in adaptive gradient scenarios”

说明 weight decay 与 L2 正则在 SGD 下可等价,在自适应梯度下则不然
Improving Robustness of Deep-Learning-Based Image Reconstruction原评论 ↗
被提交为 story · 1 次