推荐Fede_V · 2015-05
“Have you taken a look at this ? [LINK] and paper Gradient-based Hyperparameter Optimization through Reversible Learning”
推荐,它反向计算梯度以得到超参数的导数
精确反转带动量 SGD,求验证性能对超参数的梯度
调超参数之所以困难,是因为通常得不到梯度。论文通过把导数沿整个训练过程向后链式传播,算出交叉验证性能对所有超参数的精确梯度,从而能够优化数千个超参数,包括步长和动量调度、权重初始化分布、参数丰富的正则化方案和神经网络架构。梯度的计算方法是精确反转带动量的随机梯度下降的动力学。
HN 上的人引用它说明通过反向传播穿过训练过程来学习超参数早有先例,以及精确反转计算的做法在哪里有用。
候选里与目标论文相关的只有贝叶斯优化这一条超参数调优的主流基线,读完它再看目标论文用梯度做超参数优化的区别。
它代表常规的无梯度超参数优化方法,是目标论文要对比和超越的做法。
读高斯过程贝叶斯优化的流程与采集函数;理解为什么它难以扩展到成千上万个超参数。
目标论文:精确反转带动量的 SGD,求验证性能对全部超参数的梯度。
读把训练过程展开后做反向传播、以及精确反转动量动态来节省内存的做法。
“Have you taken a look at this ? [LINK] and paper Gradient-based Hyperparameter Optimization through Reversible Learning”
“No, it's been done.”
“where being able to exactly reverse a computation was useful: Gradient-based Hyperparameter Optimization through Reversible Learning”