按年被提到
20182021 · 3 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1806.07572 · cs.LG

Neural Tangent Kernel: Convergence and Generalization in Neural Networks

神经正切核:神经网络的收敛与泛化
Arthur Jacot, Franck Gabriel, Clément Hongler · 2018

无限宽网络的训练等价于固定核上的核梯度下降(NTK)

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2019-11-28 · 最近 2023-01-26
6不同的人
6活跃月份
6讨论串
1,419被引(OpenAlex)

证明梯度下降训练人工神经网络时,网络函数沿着一个新的核(神经正切核,NTK)的核梯度演化;在无限宽极限下,NTK 收敛到显式的极限核且训练中保持不变,因此可以在函数空间而非参数空间研究训练。作者证明了数据位于球面且非线性非多项式时极限 NTK 的正定性;在最小二乘回归中,网络函数遵循线性微分方程,沿 NTK 最大主成分方向收敛最快,为早停提供了理论动机。

HN 为什么提它

评论者用它解释宽网络的训练与泛化:不只是高斯过程,NTK 说明无限宽网络训练时表现得像一个固定核,也为何时发生特征学习提供了背景。

奠基之作难度 5 / 5约 80 分钟经得起时间
读之前最好知道
1核方法与高斯过程
2神经网络与梯度下降
3线性微分方程
4正定核与函数空间

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐fgabriel · 2019-11

“For trained wide neural networks, you can have a look at”

推荐它,用来了解训练好的宽神经网络
Wide Neural Networks of Any Architecture Are Gaussian Processes原评论 ↗
引用fgabriel · 2019-11

“The paper says more than just that they are GPs, I believe it shows that the NTK (Neural Tangent Kernel Neural Tangent Kernel) of a large class of ANN converges at initialization.”

澄清论文不只说是 GP,还证明大型 ANN 的 NTK 在初始化时收敛
Wide Neural Networks of Any Architecture Are Gaussian Processes原评论 ↗
引用benibraz · 2020-08

“Infinite wide networks are a newly active field and has recently shown some promising results, theoretically [1, 2] and empirically [3].”

引它说明无限宽网络是新兴方向,已有理论和实证成果
Cellular Automata as Convolutional Neural Networks原评论 ↗
引用FRGabriel · 2020-12

“The assertion is known by the community at least since 2018, if not even well before.”

指出该论断社区至少从 2018 年起就知道
Every Model Learned by Gradient Descent Is Approximately a Kernel Machine原评论 ↗
引用kdisorte · 2021-02

“The assertion is known by the community at least since 2018, if not even well before.”

指出核等价这一论断的最早来源
Gradient Descent Models Are Kernel Machines原评论 ↗
引用medlyyy · 2021-03

“So there is progress both in understanding generalisation and understanding when feature learning does & does not occur.”

引它说明对泛化及特征学习何时发生的理解有进展
Understanding deep learning requires rethinking generalization原评论 ↗
看全部 7 条 →
引用medlyyy · 2021-03

“And then the NTK paper: Neural Tangent Kernel”

列出 NTK 论文,作为理解网络训练的核视角
Understanding deep learning requires rethinking generalization原评论 ↗
被提交为 story · 1 次