引用cf · 2016-09
“Beyond that we are seeing some cool stuff with Blackbox Variational Inference [3] and other Automatic Variational [4] solvers coming out of Blei's lab.”
提到 Blei 实验室推出的自动变分推断求解器很酷
只给模型和数据,自动推导变分推断算法,已集成进 Stan
概率建模需要反复拟合、修改模型,而为新模型推导算法在数学和计算上都很吃力。ADVI 让使用者只需提供概率模型和数据集,就能自动导出高效的变分推断算法,不要求共轭假设,适用范围很广。作者在十个模型上研究了该方法,并应用到含数百万观测的数据集,它已集成进概率编程系统 Stan 并可直接使用。
评论者把它当作 Blei 实验室的自动变分推断求解器,以及“变分推断让连续概率图模型能快速做贝叶斯推断”的出处。
先了解自动微分,再看重参数化让变分下界可用 SGD 优化的 VAE,最后读如何把这些想法做成自动推导的变分推断。
ADVI 依赖自动微分来计算梯度,需要理解其基本原理
读了解前向与反向模式自动微分的区别,以及在机器学习中的用法
把变换到无约束空间与随机梯度变分推断自动化
读看变量变换到实数空间的做法、高斯变分族和自动推导流程
“Beyond that we are seeing some cool stuff with Blackbox Variational Inference [3] and other Automatic Variational [4] solvers coming out of Blei's lab.”
“They instead use variational inference[1], which allows for fast inference of continuous PGMs.”
“[2] Automatic Differentiation Variational Inference”