引用mccourt · 2015-12
“there are people trying to bridge the gap between how GPs work and the benefits of neural nets”
指出有人在弥合 GP 与神经网络优势之间的差距
以神经网络代替高斯过程做贝叶斯优化,计算量线性增长
贝叶斯优化通常用高斯过程(GP)作为代理模型,但 GP 的计算量随观测数立方增长,难以处理需要大量评估或大规模并行的情形。论文用神经网络做自适应基函数回归来建模函数分布,性能与最先进的 GP 方法相当,计算量却随数据量线性增长,因而可以做到此前难以实现的并行程度,并被用于大规模超参数优化,在卷积网络目标识别和神经语言模型的图像描述任务上快速找到有竞争力的模型。
HN 上的人用它回答有没有人把高斯过程与神经网络结合起来,即用神经网络替代 GP 做贝叶斯超参数优化。
候选中真正相关的是高斯过程贝叶斯优化的基础论文,以及作为实验对象之一的带注意力图像描述模型。
目标论文要替换其中的高斯过程代理模型,必须先懂这套方法。
读高斯过程代理、采集函数(期望提升)与超参数优化的流程。
其超参数搜索可作为大型深度模型的贝叶斯优化应用背景。
读了解该图像描述模型的结构及其可调超参数,不必深究注意力细节。
目标论文:用神经网络代替高斯过程,使贝叶斯优化计算量线性增长。
读神经网络基函数加贝叶斯线性回归的代理模型,以及并行化实验。
“there are people trying to bridge the gap between how GPs work and the benefits of neural nets”
“It has been done already:”
“Using Deep Neural Networks - [2]”