按年被提到
20202020 · 4 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:2012.00152 · cs.LG

Every Model Learned by Gradient Descent Is Approximately a Kernel Machine

梯度下降学到的每个模型都近似于核机器
Pedro Domingos · 2020

证明梯度下降训练的模型近似等价于核机器

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 13 人首次 2020-12-03 · 最近 2025-07-27
13不同的人
10活跃月份
13讨论串
51被引(OpenAlex)

论文证明,由标准梯度下降训练的深度网络在数学上近似等价于核机器,即一种直接记住数据、通过相似度函数(核)做预测的学习方法。这意味着网络权重实际上是训练样本的叠加,网络架构则把目标函数的知识编码进核里,作者认为这会增强对深度网络权重的可解释性,并带来更好的学习算法。

HN 为什么提它

评论者在讨论深度学习是否只是插值或记忆时引用它,说明神经网络近似 kNN 或核机器,但也有人认为它的结论被夸大了。

其他难度 4 / 5约 30 分钟经得起时间
读之前最好知道
1核方法与核机器
2梯度下降
3神经网络基础
4线性代数

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看大网络为何能拟合随机标签,再读神经正切核如何把无限宽网络的训练化为核方法,之后就能理解 Domingos 把任意梯度下降模型都描述成核机器的论证。

  1. 1
    Understanding deep learning requires rethinking generalization理解深度学习需要重新思考泛化 · 2016

    它显示大网络能记住随机标签,引出对深度网络究竟学到表示还是记忆数据的疑问。

    读随机标签实验和对传统泛化理论的挑战;不必看所有正则化消融。

  2. 2
    Neural Tangent Kernel: Convergence and Generalization in Neural Networks神经正切核:神经网络的收敛与泛化 · 2018

    NTK 说明无限宽网络的训练等价于固定核上的核梯度下降,是目标论文把这一观点推广到所有模型的前驱。

    读神经正切核的定义,以及训练动态在核空间中的描述;公式推导可略读。

  3. 3
    Every Model Learned by Gradient Descent Is Approximately a Kernel Machine梯度下降学到的每个模型都近似于核机器 · 2020 · 就是这篇

    目标论文:证明梯度下降学到的模型近似为核机器,并解读其权重为训练样本的叠加。

    读路径核(path kernel)的定义与主定理,以及对深度学习为何不是在学新表示的讨论。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐homerowilson · 2021-10

“A nice, short, recent paper along these lines (not mentioned in the article) is "Every Model Learned by Gradient Descent Is Approximately a Kernel Machine": Every Model Learned by Gradient Descent Is Approximately a Kernel Machine”

推荐这篇文章未提及的近期短论文,把梯度下降与核机器联系起来
A new link to an old model could crack the mystery of deep learning原评论 ↗
批评FeepingCreature · 2022-04

“If the paper is substantially correct I concede the point. But what I've read of reactions leads me to believe the conclusion is overstated.”

Pathways Language Model (PaLM): Scaling to 540B parameters原评论 ↗
引用antipaul · 2020-12

“Thanks for the reference. Here it is:”

回应索要出处,给出论文:梯度下降训练的深度网络近似核机器
Does GPT-2 Know Your Phone Number?原评论 ↗
引用YeGoblynQueenne · 2022-03

“There's a debate, of course. I like to point to Domingos' paper:”

承认存在争论,以 Domingos 这篇论文作为自己的论据
Deep learning is hitting a wall?原评论 ↗
引用mjburgess · 2022-04

“All GD learners are interpolators (cf. Every Model Learned by Gradient Descent Is Approximately a Kernel Machine)”

引用它支持所有梯度下降学习者都是插值器的说法
Pathways Language Model (PaLM): Scaling to 540B parameters原评论 ↗
引用visarga · 2022-09

“Reminds me of Pedro Domingos's paper - Every Model Learned by Gradient Descent Is Approximately a Kernel Machine”

联想到 Domingos 这篇:梯度下降学到的模型近似核机器
Using GPT-3 to pathfind in random graphs原评论 ↗
看全部 8 条 →
引用visarga · 2023-08

“We have suspected that neural nets are a kind of kNN. Here's a paper:”

拿它佐证长期怀疑的观点:神经网络是一种 kNN
Do Machine Learning Models Memorize or Generalize?原评论 ↗
引用Joschkabraun · 2023-10

“Reminds me of "Every Model Learned by Gradient Descent Is Approximately a Kernel Machine" by Pedro Domingos: Every Model Learned by Gradient Descent Is Approximately a Kernel Machine”

联想到 Domingos 这篇:梯度下降学到的模型近似核机器
When Gradient Descent Is a Kernel Method原评论 ↗
被提交为 story · 6 次