“our recent work shows that one can study a feature learning infinite-width limit with realistic learning rate.”
Feature Learning in Infinite-Width Neural Networks
修改参数化,使无限宽网络在极限下也能学习特征
网络宽度趋于无穷时,若参数化合适(如 NTK 参数化),深度网络在梯度下降下的行为可变得简单可预测(如由神经正切核 NTK 给出)。论文证明标准参数化和 NTK 参数化的无限宽极限都不能学习特征,而特征学习对 BERT 这类预训练与迁移学习至关重要,并提出对标准参数化的简单修改使极限下可以学特征,借助 Tensor Programs 技术推出显式公式。在 Word2Vec 和基于 MAML 的 Omniglot 少样本学习上精确计算这些极限,结果优于 NTK 基线和有限宽度网络,后者随宽度增大趋近极限性能;作者还刻画了推广标准、NTK 与平均场参数化的一类参数化空间,证明其中任一参数化要么允许特征学习,要么对应核梯度下降,二者不可兼得。
HN 评论者提到它,是为了说明可以在现实学习率下研究无限宽度的特征学习极限,以及它给出了一种让参数化允许特征学习的不同方法。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先理解 NTK 极限为何不能学特征,再看本文用于验证的 word2vec、MAML 和预训练背景。
- 1
NTK 是本文分析的出发点:标准和 NTK 参数化的无限宽极限不学特征。
读无限宽网络训练等价于核梯度下降的结论。
- 2
本文以 BERT 式预训练与迁移学习为动机,说明特征学习为何重要。
读只需知道预训练加微调依赖学到的特征,不必深究架构。
- 3
本文用 word2vec 做实验,对比不同无限宽极限。
读Skip-gram 目标函数与嵌入的含义。
- 4
本文用 MAML 做少样本实验,检验极限下的特征学习能力。
读内外两层循环的元学习流程。
- 5Feature Learning in Infinite-Width Neural Networks
目标论文:修改参数化,让无限宽网络的极限也能学特征。
读各参数化下的极限分类与特征学习的条件;先不深究 Tensor Programs 的证明。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“this paper provides a different method for parametrisation to admit feature learning.”
- Wide Neural Networks Are Feature Learners, Not Kernel Machines ↗gyang · 2020-12-07 · 5 分
- Wide Neural Networks Are Feature Learners, Not Kernel Machines ↗edwardjhu · 2021-02-09 · 2 分