“[2] Less data - Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks”
Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
MAML:训练出易于微调的初始参数,几步梯度即可适应新任务
论文提出与模型无关的元学习算法(MAML),适用于任何用梯度下降训练的模型,可用于分类、回归和强化学习等多种问题。方法显式训练模型参数,使得在新任务上用少量数据做几步梯度更新就能得到良好的泛化,相当于训练模型使其易于微调。它在两个少样本图像分类基准上取得当时最优的结果,在少样本回归上表现良好,并加速了神经网络策略的策略梯度强化学习的微调。
HN 上的人把它作为“学会学习”(meta-learning)的代表来引用,说明元学习可以缓解深度学习数据饥渴、迁移能力有限等问题。
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径建立元学习的几个邻近背景:通过学习过程求梯度、少样本分类基线,以及强化学习里用到的策略梯度,用来理解 MAML 为什么只需改初始参数。
- 1
它展示了对一个学习过程(SGD 的整段训练)求梯度,这与 MAML 对内循环梯度步求二阶梯度的思路相通。
读通过训练过程反向传播求超参数梯度的思想;不必深究可逆学习的内存技巧。
- 2
它是少样本分类的代表方法,也是 MAML 在少样本分类实验中的对照。
读episodic 训练设定(支持集与查询集)以及注意力式的分类器;理解少样本任务如何划分。
- 3
MAML 在强化学习实验里用策略梯度类方法做元更新,TRPO 是其中使用的算法。
读信赖域约束下的策略更新思想;只需知道它为什么比普通策略梯度更稳定。
- 4Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
读完相关背景后,再看通过元学习初始参数让模型几步梯度就能适应新任务。
读内外双层循环的目标函数、一阶近似与二阶梯度的区别,以及回归、分类与强化学习三类实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Many concerns in this paper, especially about deep learning being data hungry, limited capacity for transfer, and integrating prior knowledge are addressed by recent papers in meta-learning and learning-to-learn”
“Meta-learning, also known as "learning to learn", is more like MAML[0], RL2[1], L2RL[2], etc.”