按年被提到
20192019 · 2 次2026
机器学习与深度学习›优化与可微编程·arXiv:1909.13371 · cs.LG

Gradient Descent: The Ultimate Optimizer

梯度下降:终极优化器
Kartik Chandra, Audrey Xie, Jonathan Ragan-Kelley, Erik Meijer · 2019

改造反向传播,自动求超梯度并可递归调优超参数

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2019-10-01 · 最近 2023-01-20
3不同的人
3活跃月份
4讨论串
35被引(OpenAlex)

论文展示如何通过对反向传播做一个简单改动,自动计算超梯度,从而让步长、动量系数等优化器超参数与模型参数一起被优化,无需手工推导。该方法可递归地用于超超参数等任意层级,优化器塔越高对初始超参数选择越不敏感;作者在 MLP、CNN、RNN 上做了实验验证,并给出简洁的 PyTorch 实现。

HN 为什么提它

HN 评论者在讨论用外层梯度下降调内层梯度下降时引用它,作为这一做法的具体例子。

方法难度 4 / 5约 35 分钟经得起时间
读之前最好知道
1反向传播与自动微分
2梯度下降及其变体(SGD、Adam)
3超参数调优
4PyTorch 基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用blackbear_ · 2023-01

“However a recent work at this year's NeurIPS [1] did indeed use an outer gradient descent to tune an inner gradient descent”

引它说明已有用外层梯度下降来调内层梯度下降的工作
Deep Learning Tuning Playbook原评论 ↗
被提交为 story · 3 次