按年被提到
20172018 · 2 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1711.00165 · stat.ML

Deep Neural Networks as Gaussian Processes

深度神经网络即高斯过程
Jaehoon Lee, Yasaman Bahri, Roman Novak, Samuel S. Schoenholz, Jeffrey Pennington, Jascha Sohl-Dickstein · 2017

推导无限宽深度网络与高斯过程的精确等价并做贝叶斯预测

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2018-01-26 · 最近 2024-02-25
7不同的人
6活跃月份
6讨论串
602被引(OpenAlex)

早已知道单隐层全连接网络在参数 i.i.d. 先验且宽度趋于无穷时等价于高斯过程(GP)。论文推导了无限宽深度网络与 GP 的精确等价,给出高效计算协方差函数的流程,并在 MNIST 和 CIFAR-10 上用这些 GP 对宽深度网络做贝叶斯推断。结果显示训练后的网络准确率随宽度增加趋近对应 GP,GP 的不确定性与网络预测误差强相关,且 GP 的预测通常优于有限宽度网络;作者还把 GP 的表现与随机神经网络中信号传播的理论联系起来。

HN 为什么提它

HN 上的人引用它来说明“足够宽的神经网络在极限下就是高斯过程”,在讨论神经网络、核方法和高斯过程的联系时作为参考。

奠基之作难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1高斯过程(Gaussian process)
2贝叶斯推断(Bayesian inference)
3全连接神经网络
4核函数与协方差函数
5中心极限定理

学习路径

读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

候选里只有一篇与高斯过程和贝叶斯视角直接相关,这条路径简短。

  1. 1
    Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning把 Dropout 看作贝叶斯近似:表示深度学习中的模型不确定性 · 2015

    同样把神经网络与高斯过程联系起来,并从贝叶斯角度看待不确定性。

    读dropout 与深度高斯过程近似推断的对应关系。

  2. 2
    Deep Neural Networks as Gaussian Processes深度神经网络即高斯过程 · 2017 · 就是这篇

    推导无限宽深度网络与高斯过程的精确等价,并做贝叶斯预测。

    读逐层递推协方差函数的推导,以及用其做回归的实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐mildmay_rider · 2024-02

“You may enjoy some works on the connections between gaussian processes, neural networks, and linear(in rkhs) models.”

推荐了解高斯过程、神经网络与线性模型之间联系的工作
Every model learned by gradient descent is approximately a kernel machine (2020)原评论 ↗
引用nabla9 · 2018-01

“There is similar connection between deep fully connected neural networks and Gaussian process.”

指出深度全连接网络与高斯过程之间有类似联系
Using Self-Organizing Maps to Solve the Traveling Salesman Problem原评论 ↗
引用vladislav · 2018-07

“Deep neural networks with random weights concentrate about gaussian processes, so the two may not be so far apart in practice.”

拿它说明随机权重的深度网络趋近高斯过程,两者实践中可能相距不远
Gaussian Processes for Machine Learning (2010)原评论 ↗
引用yorwba · 2020-01

“Very wide networks turn into Gaussian processes in the limit [0].”

引用它说明极宽网络在极限下变成高斯过程
U.S. government limits exports of artificial intelligence software原评论 ↗
引用medlyyy · 2021-03

“I believe it's this: Deep Neural Networks as Gaussian Processes”

指认这篇论文就是所问的那篇,讲深度网络初始化时等价于高斯过程
Understanding deep learning requires rethinking generalization原评论 ↗
引用PartiallyTyped · 2023-06

“It has long been known that a single-layer fully-connected neural network with an i.i.d. prior over its parameters is equivalent to a Gaussian process (GP), in the limit of infinite network width.”

指出无限宽的单层全连接网络等价于高斯过程早已为人所知
Any Deep ReLU Network Is Shallow原评论 ↗
看全部 7 条 →
引用nickpsecurity · 2024-02

“The new comparison reminds me of this old paper which compared them to Gaussian networks:”

想起一篇把深度网络与高斯过程相比较的旧论文
Every model learned by gradient descent is approximately a kernel machine (2020)原评论 ↗