引用blackbear_ · 2023-01
“However a recent work at this year's NeurIPS [1] did indeed use an outer gradient descent to tune an inner gradient descent”
引它说明已有用外层梯度下降来调内层梯度下降的工作
改造反向传播,自动求超梯度并可递归调优超参数
论文展示如何通过对反向传播做一个简单改动,自动计算超梯度,从而让步长、动量系数等优化器超参数与模型参数一起被优化,无需手工推导。该方法可递归地用于超超参数等任意层级,优化器塔越高对初始超参数选择越不敏感;作者在 MLP、CNN、RNN 上做了实验验证,并给出简洁的 PyTorch 实现。
HN 评论者在讨论用外层梯度下降调内层梯度下降时引用它,作为这一做法的具体例子。
“However a recent work at this year's NeurIPS [1] did indeed use an outer gradient descent to tune an inner gradient descent”