按年被提到
20152015 · 2 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1506.02142 · stat.ML

Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning

把 Dropout 看作贝叶斯近似:表示深度学习中的模型不确定性
Yarin Gal, Zoubin Ghahramani · 2015

把 dropout 训练视为深度高斯过程的近似贝叶斯推断,借此估计不确定性。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2015-09-02 · 最近 2023-01-15
6不同的人
6活跃月份
6讨论串
6,488被引(OpenAlex)

深度学习的回归和分类工具不能刻画模型不确定性,而贝叶斯模型有严谨框架却计算代价过高。论文提出一个新的理论框架,把深度神经网络中的 dropout 训练视为深度高斯过程中的近似贝叶斯推断,由此得到利用 dropout 网络建模不确定性的工具,从已有模型中提取此前被丢弃的信息,而不牺牲计算复杂度或测试精度。作者系统研究了 dropout 不确定性的性质,在 MNIST 上评估多种网络结构和非线性,预测对数似然和 RMSE 相比现有最优方法有明显改进,并把它用于深度强化学习。

HN 为什么提它

评论者引用它说明 dropout 在数学上近似于深度高斯过程,因此可以在推理时使用 dropout(Monte Carlo dropout)来近似贝叶斯的模型不确定性。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1Dropout 正则化
2高斯过程(Gaussian process)
3贝叶斯推断与变分近似
4神经网络回归与分类

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用tabacof · 2015-09

“some new developments such as dropout can be interpreted as some form of deep Gaussian processes [3]”

指出 dropout 可被解释为某种深度高斯过程
A Brief Introduction to Graphical Models and Bayesian Networks (1998)原评论 ↗
引用MrQuincle · 2015-12

“is mathematically equivalent to an approximation to the probabilistic deep Gaussian process”

指出 dropout 在数学上等价于近似概率深度高斯过程
Machine learning works spectacularly well, but mathematicians aren’t sure why原评论 ↗
引用brianchu · 2017-01

“The only paper I've seen that theoretically analyzes dropout is: Dropout as a Bayesian Approximation, which proves it's equivalent to approximating gaussian processes”

称这是唯一见过从理论上分析 dropout 的论文,证明其等价于近似高斯过程
Braess’ paradox原评论 ↗
引用elcritch · 2017-11

“how does it differ from using drop-out's to approximate Bayesian behavior ala Dropout as a Bayesian Approximation”

询问与用 dropout 近似贝叶斯行为的做法相比有何不同
Bayesian Generative Adversarial Networks原评论 ↗
引用thiago_lira · 2018-07

“A colleague has given me the idea of applying the Monte Carlo Dropout technique [1] (A interpretation of Dropout as a GP) to the CEAL framework [0].”

打算把 Monte Carlo Dropout 用到 CEAL 框架里
Gaussian Processes for Machine Learning (2010)原评论 ↗
引用datastoat · 2023-01

“e.g. by using dropout at inference time [0]”

以推理时使用 dropout 为例
Bayesian statistics and machine learning: How do they differ?原评论 ↗