“An Introduction to Probabilistic Programming An Introduction to Probabilistic Programming By Jan-Willem van de Meent, Brooks Paige, Hongseok Yang, Frank Wood”
An Introduction to Probabilistic Programming
研究生水平的概率编程教材,涵盖语言设计、推断算法与可微编程
这是一本面向研究生的概率编程教材,既为使用概率编程系统的人提供背景,也讲解设计和构建此类系统所需的技术。全书先从基于模型的推理和条件化讲起,引入一阶概率编程语言及其基本推断算法,再转向可产生动态计算图的高阶语言及其采样式推断,最后讨论概率编程与可微编程的交汇,包括自动微分、基于 Hamiltonian Monte Carlo 的推断和摊销推断。
评论者把它当作概率编程的理论教材来推荐,并有人指出它是真正的高级读物,没有博士背景的人很难读懂。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你建立自动微分、变分推断、蒙特卡罗梯度估计和概率编程系统的前置知识,再读这本教材。
- 1
概率编程里的可微编程与基于梯度的推断都建立在自动微分之上。
读读前向与反向模式自动微分的区别,以及在机器学习中的应用。
- 2
- 3
ADVI 是给定概率程序自动做变分推断的典型例子。
读读如何把约束的潜变量变换到实数空间并用自动微分优化 ELBO。
- 4
系统梳理了重参数化与得分函数等梯度估计方法,对应教材的推断与可微部分。
读读路径导数与得分函数估计的区别,以及各自的方差问题。
- 5
Edward 是把概率模型、推断和检验放进深度学习框架的一个实际系统。
读看它如何把模型、推断、批评拆成可组合的部件。
- 6
展示如何为概率程序训练摊销(amortized)推断网络。
读抓用神经网络近似后验、对概率程序做推断编译的思路。
- 7An Introduction to Probabilistic Programming
系统介绍概率编程语言的设计、推断算法和可微编程。
读先读条件化(conditioning)的动机,再依次读语言设计、求值式推断和基于梯度的方法。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“A nice follow up is [1], which delves more into more technical inference aspects.”
“I think the main outcome from Anglican was a great theoretical textbook”
“That book is, by all definitions, an advanced book about AI. How many people without a PhD can read that?”
- An Introduction to Probabilistic Programming ↗lainon · 2018-10-01 · 269 分
- An Introduction to Probabilistic Programming ↗homarp · 2021-10-21 · 209 分
- An Introduction to Probabilistic Programming (2018) ↗fagnerbrack · 2026-03-23 · 1 分