按年被提到
20152015 · 3 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1502.05700 · stat.ML

Scalable Bayesian Optimization Using Deep Neural Networks

用深度神经网络实现可扩展的贝叶斯优化
Jasper Snoek, Oren Rippel, Kevin Swersky, Ryan Kiros, Nadathur Satish, Narayanan Sundaram, Md. Mostofa Ali Patwary, Prabhat, Ryan P. Adams · 2015

以神经网络代替高斯过程做贝叶斯优化,计算量线性增长

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2015-02-20 · 最近 2019-01-03
5不同的人
5活跃月份
5讨论串
702被引(OpenAlex)

贝叶斯优化通常用高斯过程(GP)作为代理模型,但 GP 的计算量随观测数立方增长,难以处理需要大量评估或大规模并行的情形。论文用神经网络做自适应基函数回归来建模函数分布,性能与最先进的 GP 方法相当,计算量却随数据量线性增长,因而可以做到此前难以实现的并行程度,并被用于大规模超参数优化,在卷积网络目标识别和神经语言模型的图像描述任务上快速找到有竞争力的模型。

HN 为什么提它

HN 上的人用它回答有没有人把高斯过程与神经网络结合起来,即用神经网络替代 GP 做贝叶斯超参数优化。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1贝叶斯优化(Bayesian optimization)
2高斯过程(Gaussian process)
3神经网络与超参数调优
4代理模型与采集函数(acquisition function)

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

候选中真正相关的是高斯过程贝叶斯优化的基础论文,以及作为实验对象之一的带注意力图像描述模型。

  1. 1
    Practical Bayesian Optimization of Machine Learning Algorithms机器学习算法的实用贝叶斯优化 · 2012

    目标论文要替换其中的高斯过程代理模型,必须先懂这套方法。

    读高斯过程代理、采集函数(期望提升)与超参数优化的流程。

  2. 2
    Show, Attend and Tell: Neural Image Caption Generation with Visual Attention展示、注意与讲述:带视觉注意力的神经图像描述生成 · 2015

    其超参数搜索可作为大型深度模型的贝叶斯优化应用背景。

    读了解该图像描述模型的结构及其可调超参数,不必深究注意力细节。

  3. 3
    Scalable Bayesian Optimization Using Deep Neural Networks用深度神经网络实现可扩展的贝叶斯优化 · 2015 · 就是这篇

    目标论文:用神经网络代替高斯过程,使贝叶斯优化计算量线性增长。

    读神经网络基函数加贝叶斯线性回归的代理模型,以及并行化实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用mccourt · 2015-12

“there are people trying to bridge the gap between how GPs work and the benefits of neural nets”

指出有人在弥合 GP 与神经网络优势之间的差距
Likelihood for Gaussian Processes原评论 ↗
引用pedrosorio · 2016-06

“It has been done already:”

指出这件事已有人做过,用神经网络取代 GP 做贝叶斯优化
Computer Vision Research: The deep “depression”原评论 ↗
引用abhgh · 2019-01

“Using Deep Neural Networks - [2]”

提到用深度神经网络做贝叶斯优化的代理模型
A Visual Exploration of Gaussian Processes原评论 ↗
被提交为 story · 2 次