按年被提到
20162017 · 6 次2026
机器学习与深度学习›优化与可微编程·arXiv:1606.04474 · cs.NE

Learning to learn by gradient descent by gradient descent

用梯度下降学习梯度下降
Marcin Andrychowicz, Misha Denil, Sergio Gomez, Matthew W. Hoffman, David Pfau, Tom Schaul, Brendan Shillingford, Nando de Freitas · 2016

让 LSTM 学会做优化器,替代手工设计的优化算法

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 13 人首次 2016-06-15 · 最近 2022-08-01
13不同的人
9活跃月份
11讨论串
1,418被引(OpenAlex)

论文指出优化算法至今仍靠手工设计,于是把优化算法的设计转化为一个学习问题,让算法自动利用问题的结构,用 LSTM 来实现学出来的优化器。这些学出来的优化器在其训练任务上优于通用的手工设计方法,也能泛化到结构相似的新任务,实验包括简单凸问题、训练神经网络和神经风格迁移。

HN 为什么提它

评论者把它当作「学习优化器 / 元学习」的经典引用,常因这个标题而被提起,用来讨论自动化算法设计,也有人询问是否有现成实现。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1梯度下降与优化器(SGD、Adam)
2LSTM
3元学习(meta-learning)
4随时间反向传播

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

只有少数候选真正相关:先了解 Adam 这类手工设计的优化器,再看神经风格迁移这个实验任务,就能读懂论文如何让 LSTM 学成优化器并与它们对比。

  1. 1
    Adam: A Method for Stochastic OptimizationAdam:一种随机优化方法 · 2014

    论文要被取代的正是 Adam 这类手工设计的优化器,实验里也拿它做基线。

    读一阶、二阶矩估计和更新规则的概念;理解手工优化器编码了哪些先验。

  2. 2
    A Neural Algorithm of Artistic Style艺术风格的神经算法 · 2015

    论文的一个实验任务是用学到的优化器做神经风格迁移,需要先懂这个任务。

    读内容损失与风格损失(Gram 矩阵)的定义;只需要明白优化的是什么目标。

  3. 3
    Learning to learn by gradient descent by gradient descent用梯度下降学习梯度下降 · 2016 · 就是这篇

    目标论文:把优化器设计转为学习问题,用 LSTM 当优化器并用梯度下降训练它。

    读优化器的输入是梯度、输出是参数更新,以及按轨迹累计损失来训练;看二次函数、MNIST 和风格迁移的泛化结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐nl · 2017-01

“Some other things you may be interested in:”

作为相关内容推荐:用梯度下降学习优化器
Darpa Goes “Meta” with Machine Learning for Machine Learning (2016)原评论 ↗
引用quotemstr · 2016-08

“For now. Articles like [1] make me wonder whether this current generation of programmers might be the last.”

拿它说明算法设计正被自动化,程序员或成最后一代
News Feed FYI: Further Reducing Clickbait in Feed原评论 ↗
引用highd · 2016-11

“Side note, anybody aware of any implementations of the "learning to learn gradient descent by gradient descent" work [0]?”

询问这项工作有没有可用的实现
An overview of gradient descent optimization algorithms原评论 ↗
引用LeanderK · 2017-01

“A ML-learning group at my university recently discussed Learning to learn by gradient descent by gradient descent [1], the topic seems related.”

提到所在学校讨论过它,认为与话题相关
Darpa Goes “Meta” with Machine Learning for Machine Learning (2016)原评论 ↗
引用joshvm · 2017-01

“The obvious citation is the wonderfully titled Learning to learn by gradient descent by gradient descent Learning to learn by gradient descent by gradient descent”

把它当作显而易见的引用,称标题起得妙
Darpa Goes “Meta” with Machine Learning for Machine Learning (2016)原评论 ↗
引用digitalemble72 · 2017-02

“we can now directly learn algorithms such as gradient descent[1]”

拿它说明现在可以直接学出梯度下降这类算法
The Convex Geometry of Inverse Problems [video]原评论 ↗
看全部 10 条 →
引用greeneggs · 2017-04

“if you click on Download->Other formats, you get the latex source code and in this case also the Omnigraffle files for the diagrams.”

以它为例说明 arXiv 可下载 LaTeX 源码和图源文件
First introduction to LaTeX原评论 ↗
引用chriskanan · 2017-07

“There has been some work related to what you are describing:”

指出它是相关工作:用神经网络指导训练中的参数更新
Hacker's guide to Neural Networks (2012)原评论 ↗
引用human_scientist · 2019-03

“including "learning to optimize" approaches, e.g., Learning to learn by gradient descent by gradient descent.”

把它当作 learning to optimize 方法的代表
Deep Learning Optimizer Visualization原评论 ↗
引用radarsat1 · 2022-08

“I wonder, are you familiar with now classic paper, Learning to learn by gradient descent by gradient descent?”

问对方是否熟悉这篇已成经典的学习优化器论文
Differentiable programming from scratch原评论 ↗
被提交为 story · 3 次