按年被提到
20162016 · 1 次2026
机器学习与深度学习›贝叶斯方法与 AutoML·arXiv:1601.00670 · stat.CO

Variational Inference: A Review for Statisticians

变分推断:面向统计学家的综述
David M. Blei, Alp Kucukelbir, Jon D. McAuliffe · 2016

系统讲解变分推断的思想、平均场方法和随机优化扩展

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2016-10-17 · 最近 2023-03-29
6不同的人
6活跃月份
5讨论串
3,974被引(OpenAlex)

论文综述变分推断(VI):一种来自机器学习、通过优化来近似概率密度的方法,在贝叶斯统计中用来近似难以计算的后验分布,通常比马尔可夫链蒙特卡洛等经典方法更快。思路是先设定一族密度,再用 KL 散度衡量,找出族中与目标最接近的成员。文章讲解平均场变分推断、指数族模型中的特例,并给出贝叶斯高斯混合的完整例子,还推导了可扩展到海量数据的随机优化变体,最后讨论 VI 的现代研究和未解决问题。

HN 为什么提它

HN 上的人推荐它作为理解 ELBO 与 VAE 之前的变分推断入门综述,不过也有人指出它可能越来越过时。

综述难度 4 / 5约 120 分钟经得起时间
读之前最好知道
1贝叶斯推断(Bayesian inference)
2KL 散度(Kullback-Leibler divergence)
3指数族分布
4马尔可夫链蒙特卡洛(MCMC)
5高斯混合模型

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看变分推断在深度生成模型和自动化推断里的两个典型用法,再系统读统计学视角的变分推断综述。

  1. 1
    Auto-Encoding Variational Bayes自编码变分贝叶斯 · 2013

    VAE 是变分推断结合随机梯度优化与神经网络的代表,给综述里的概念提供直观例子。

    读变分下界、重参数化技巧如何让推断可以用 SGD 训练。

  2. 2
    Automatic Differentiation Variational Inference自动微分变分推断(ADVI) · 2016

    ADVI 说明变分推断如何被自动化,与综述里的平均场与随机优化部分相呼应。

    读把参数变换到无约束空间并用高斯近似的思路,以及自动微分在其中的角色。

  3. 3
    Variational Inference: A Review for Statisticians变分推断:面向统计学家的综述 · 2016 · 就是这篇

    综述把前面零散的用法放进统一的统计框架里。

    读ELBO 的推导、平均场族与坐标上升(CAVI)、随机变分推断;与 MCMC 的对比部分可略读。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐PheonixPharts · 2022-04

“you might find David Blei's "Variational Inference: A Review for Statisticians" useful as well Variational Inference”

推荐 Blei 的这篇变分推断综述,可能也有用
Why train when you can optimize?原评论 ↗
推荐cgs1019 · 2023-03

“To grok the ELBO, don't start with VAEs; start with basic variational inference. Variational Inference is good, though maybe increasingly dated”

建议理解 ELBO 先读这篇变分推断基础,尽管可能有些过时
引用charlescearl · 2016-10

“as witnessed by papers like [1], where some of the statistical machinery is being developed on the ML side.”

引用它说明部分统计工具正在机器学习一侧发展
Machine Learning Is the New Statistics原评论 ↗
引用imurray · 2019-03

“This stuff has been used in a bunch of applications (section 5.1, p23).”

指出相关技术已用于许多应用,见第 5.1 节
Natural Gradient Descent (2018)原评论 ↗
引用yt-sdb · 2021-10

“Another popular technique is called variational inference [2].”

引用它说明变分推断是一种流行的近似技术
An Introduction to Probabilistic Programming原评论 ↗
被提交为 story · 1 次