按年被提到
20202020 · 2 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:2011.14522 · cs.LG

Feature Learning in Infinite-Width Neural Networks

无限宽度神经网络中的特征学习
Greg Yang, Edward J. Hu · 2020

修改参数化,使无限宽网络在极限下也能学习特征

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2020-12-06 · 最近 2021-03-05
3不同的人
3活跃月份
4讨论串
49被引(OpenAlex)

网络宽度趋于无穷时,若参数化合适(如 NTK 参数化),深度网络在梯度下降下的行为可变得简单可预测(如由神经正切核 NTK 给出)。论文证明标准参数化和 NTK 参数化的无限宽极限都不能学习特征,而特征学习对 BERT 这类预训练与迁移学习至关重要,并提出对标准参数化的简单修改使极限下可以学特征,借助 Tensor Programs 技术推出显式公式。在 Word2Vec 和基于 MAML 的 Omniglot 少样本学习上精确计算这些极限,结果优于 NTK 基线和有限宽度网络,后者随宽度增大趋近极限性能;作者还刻画了推广标准、NTK 与平均场参数化的一类参数化空间,证明其中任一参数化要么允许特征学习,要么对应核梯度下降,二者不可兼得。

HN 为什么提它

HN 评论者提到它,是为了说明可以在现实学习率下研究无限宽度的特征学习极限,以及它给出了一种让参数化允许特征学习的不同方法。

奠基之作难度 5 / 5约 120 分钟经得起时间
读之前最好知道
1神经正切核(NTK)
2神经网络参数化与初始化
3平均场理论(mean field)
4Tensor Programs 与随机矩阵基础

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解 NTK 极限为何不能学特征,再看本文用于验证的 word2vec、MAML 和预训练背景。

  1. 1
    Neural Tangent Kernel: Convergence and Generalization in Neural Networks神经正切核:神经网络的收敛与泛化 · 2018

    NTK 是本文分析的出发点:标准和 NTK 参数化的无限宽极限不学特征。

    读无限宽网络训练等价于核梯度下降的结论。

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    本文以 BERT 式预训练与迁移学习为动机,说明特征学习为何重要。

    读只需知道预训练加微调依赖学到的特征,不必深究架构。

  3. 3
    Efficient Estimation of Word Representations in Vector Space向量空间中词表示的高效估计 · 2013

    本文用 word2vec 做实验,对比不同无限宽极限。

    读Skip-gram 目标函数与嵌入的含义。

  4. 4
    Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks与模型无关的元学习:深度网络的快速适应 · 2017

    本文用 MAML 做少样本实验,检验极限下的特征学习能力。

    读内外两层循环的元学习流程。

  5. 5
    Feature Learning in Infinite-Width Neural Networks无限宽度神经网络中的特征学习 · 2020 · 就是这篇

    目标论文:修改参数化,让无限宽网络的极限也能学特征。

    读各参数化下的极限分类与特征学习的条件;先不深究 Tensor Programs 的证明。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用edwardjhu · 2020-12

“our recent work shows that one can study a feature learning infinite-width limit with realistic learning rate.”

说自己团队的近期工作表明可以在现实学习率下研究特征学习的无限宽极限
Every Model Learned by Gradient Descent Is Approximately a Kernel Machine原评论 ↗
引用medlyyy · 2021-03

“this paper provides a different method for parametrisation to admit feature learning.”

指出它给出另一种参数化方式,使无限宽网络可以进行特征学习
Understanding deep learning requires rethinking generalization原评论 ↗
被提交为 story · 2 次