“you might find David Blei's "Variational Inference: A Review for Statisticians" useful as well Variational Inference”
Variational Inference: A Review for Statisticians
系统讲解变分推断的思想、平均场方法和随机优化扩展
论文综述变分推断(VI):一种来自机器学习、通过优化来近似概率密度的方法,在贝叶斯统计中用来近似难以计算的后验分布,通常比马尔可夫链蒙特卡洛等经典方法更快。思路是先设定一族密度,再用 KL 散度衡量,找出族中与目标最接近的成员。文章讲解平均场变分推断、指数族模型中的特例,并给出贝叶斯高斯混合的完整例子,还推导了可扩展到海量数据的随机优化变体,最后讨论 VI 的现代研究和未解决问题。
HN 上的人推荐它作为理解 ELBO 与 VAE 之前的变分推断入门综述,不过也有人指出它可能越来越过时。
学习路径
读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先看变分推断在深度生成模型和自动化推断里的两个典型用法,再系统读统计学视角的变分推断综述。
- 1
- 2
ADVI 说明变分推断如何被自动化,与综述里的平均场与随机优化部分相呼应。
读把参数变换到无约束空间并用高斯近似的思路,以及自动微分在其中的角色。
- 3Variational Inference: A Review for Statisticians
综述把前面零散的用法放进统一的统计框架里。
读ELBO 的推导、平均场族与坐标上升(CAVI)、随机变分推断;与 MCMC 的对比部分可略读。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“To grok the ELBO, don't start with VAEs; start with basic variational inference. Variational Inference is good, though maybe increasingly dated”
“as witnessed by papers like [1], where some of the statistical machinery is being developed on the ML side.”
“This stuff has been used in a bunch of applications (section 5.1, p23).”
“Another popular technique is called variational inference [2].”
- Variational Inference: A Review for Statisticians ↗mutor · 2017-02-06 · 2 分