按年被提到
20122013 · 3 次2026
机器学习与深度学习›贝叶斯方法与 AutoML·arXiv:1206.2944 · stat.ML

Practical Bayesian Optimization of Machine Learning Algorithms

机器学习算法的实用贝叶斯优化
Jasper Snoek, Hugo Larochelle, Ryan P. Adams · 2012

用高斯过程贝叶斯优化自动调超参,可达到甚至超过专家水平

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2012-07-23 · 最近 2018-07-11
8不同的人
9活跃月份
9讨论串
6,687被引(OpenAlex)

论文把机器学习算法的自动调参放在贝叶斯优化框架下:把学习算法的泛化性能建模为高斯过程(GP)的一个样本,其可处理的后验使得可以高效利用已有实验信息来选择下一组参数。作者说明 GP 先验和推断流程的选择会显著影响成败,审慎的选择可得到超过专家水平的调参结果;还提出考虑实验耗时变化的新算法,以及利用多核并行实验的算法,在潜在狄利克雷分配、结构化 SVM 和卷积神经网络上达到或超过人类专家的优化水平。

HN 为什么提它

HN 上的人把它当作用贝叶斯优化替代网格搜索来调超参的代表论文,称其在多种模型上效果很好,并提到它对应的 Spearmint 工具和并行实践。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1高斯过程(Gaussian process)
2贝叶斯推断(Bayesian inference)
3超参数调优与网格搜索
4采集函数(acquisition function)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐danger · 2012-07

“A couple recent research papers on the topic are pretty readable:”

推荐它:用贝叶斯优化调机器学习算法,读起来不难
Machine learning for the impatient: algorithms tuning algorithms原评论 ↗
推荐ajtulloch · 2013-12

“was a great recent paper on this topic that looked to have very nice results in practice across a range of models.”

推荐它:贝叶斯超参优化在多种模型上实践效果很好
Hyperopt: Optimize your machine learning parameters automagically原评论 ↗
引用doobwa · 2012-11

“A recent paper used Bayesian optimization with GPs to find hyperparameter settings for a deep convolutional network.”

举它为例:用 GP 贝叶斯优化为深度卷积网络找超参
How deep learning on GPUs wins datamining contest without feature engineering原评论 ↗
引用ninjin · 2013-01

“I am more familiar with the work of Snoek et al. [1] from NIPS in December last year.”

提到 Snoek 等人这项贝叶斯优化工作,说自己更熟悉它
Ersatz - Deep neural networks in the cloud原评论 ↗
引用ajtulloch · 2013-11

“[6]: Practical Bayesian Optimization of Machine Learning Algorithms”

作为脚注引用贝叶斯优化的出处
Machine learning is easier than it looks原评论 ↗
引用kirillseva · 2018-01

“This is the spearmint paper, describes how bayesian search algorithms can be parallelized in practice.”

指出这是 spearmint 论文,讲贝叶斯搜索如何并行
Show HN: A radically more scalable alternative to Bayesian Optimization原评论 ↗
看全部 7 条 →
引用abhgh · 2018-07

“[1] Bayesian Optimization using Gaussian Processes is an example of this. Practical Bayesian Optimization of Machine Learning Algorithms”

举它为例:GP 贝叶斯优化是比网格搜索更聪明的办法
Troubling Trends in Machine Learning Scholarship原评论 ↗
被提交为 story · 2 次