按年被提到
20162016 · 1 次2026
机器学习与深度学习›贝叶斯方法与 AutoML·arXiv:1603.00788 · stat.ML

Automatic Differentiation Variational Inference

自动微分变分推断(ADVI)
Alp Kucukelbir, Dustin Tran, Rajesh Ranganath, Andrew Gelman, David M. Blei · 2016

只给模型和数据,自动推导变分推断算法,已集成进 Stan

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2016-09-04 · 最近 2018-10-14
3不同的人
3活跃月份
3讨论串
515被引(OpenAlex)

概率建模需要反复拟合、修改模型,而为新模型推导算法在数学和计算上都很吃力。ADVI 让使用者只需提供概率模型和数据集,就能自动导出高效的变分推断算法,不要求共轭假设,适用范围很广。作者在十个模型上研究了该方法,并应用到含数百万观测的数据集,它已集成进概率编程系统 Stan 并可直接使用。

HN 为什么提它

评论者把它当作 Blei 实验室的自动变分推断求解器,以及“变分推断让连续概率图模型能快速做贝叶斯推断”的出处。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1贝叶斯推断(Bayesian inference)
2变分推断(variational inference)
3自动微分(automatic differentiation)
4概率编程(Stan)

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先了解自动微分,再看重参数化让变分下界可用 SGD 优化的 VAE,最后读如何把这些想法做成自动推导的变分推断。

  1. 1

    ADVI 依赖自动微分来计算梯度,需要理解其基本原理

    读了解前向与反向模式自动微分的区别,以及在机器学习中的用法

  2. 2
    Auto-Encoding Variational Bayes自编码变分贝叶斯 · 2013

    重参数化技巧与随机梯度变分推断是 ADVI 的核心思想来源

    读看变分下界的随机梯度估计和重参数化,不必深究解码器结构

  3. 3
    Automatic Differentiation Variational Inference自动微分变分推断(ADVI) · 2016 · 就是这篇

    把变换到无约束空间与随机梯度变分推断自动化

    读看变量变换到实数空间的做法、高斯变分族和自动推导流程

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用cf · 2016-09

“Beyond that we are seeing some cool stuff with Blackbox Variational Inference [3] and other Automatic Variational [4] solvers coming out of Blei's lab.”

提到 Blei 实验室推出的自动变分推断求解器很酷
Design and Implementation of Probabilistic Programming Languages原评论 ↗
引用twiecki · 2017-03

“They instead use variational inference[1], which allows for fast inference of continuous PGMs.”

指出变分推断能快速推断连续型概率图模型
An Introduction to Probabilistic Graphical Models (2003) [pdf]原评论 ↗
引用xcodevn · 2018-10

“[2] Automatic Differentiation Variational Inference”

把它列为贝叶斯方法进展之一
Bayes’ Theorem in the 21st Century (2013) [pdf]原评论 ↗