按年被提到
20182018 · 2 次2026
机器学习与深度学习›贝叶斯方法与 AutoML·arXiv:1809.10756 · stat.ML

An Introduction to Probabilistic Programming

概率编程导论
Jan-Willem van de Meent, Brooks Paige, Hongseok Yang, Frank Wood · 2018

研究生水平的概率编程教材,涵盖语言设计、推断算法与可微编程

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2018-10-01 · 最近 2026-03-23
6不同的人
6活跃月份
7讨论串
97被引(OpenAlex)

这是一本面向研究生的概率编程教材,既为使用概率编程系统的人提供背景,也讲解设计和构建此类系统所需的技术。全书先从基于模型的推理和条件化讲起,引入一阶概率编程语言及其基本推断算法,再转向可产生动态计算图的高阶语言及其采样式推断,最后讨论概率编程与可微编程的交汇,包括自动微分、基于 Hamiltonian Monte Carlo 的推断和摊销推断。

HN 为什么提它

评论者把它当作概率编程的理论教材来推荐,并有人指出它是真正的高级读物,没有博士背景的人很难读懂。

教程难度 4 / 5约 600 分钟经得起时间
读之前最好知道
1概率机器学习基础
2编程语言基础(解释器、λ 演算)
3概率图模型(graphical models)
4马尔可夫链蒙特卡洛(MCMC)与变分推断
5自动微分(automatic differentiation)

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立自动微分、变分推断、蒙特卡罗梯度估计和概率编程系统的前置知识,再读这本教材。

  1. 1

    概率编程里的可微编程与基于梯度的推断都建立在自动微分之上。

    读读前向与反向模式自动微分的区别,以及在机器学习中的应用。

  2. 2
    Auto-Encoding Variational Bayes自编码变分贝叶斯 · 2013

    VAE 的重参数化和摊销推断是教材后半部分的基础。

    读抓变分下界(ELBO)和重参数化技巧。

  3. 3
    Automatic Differentiation Variational Inference自动微分变分推断(ADVI) · 2016

    ADVI 是给定概率程序自动做变分推断的典型例子。

    读读如何把约束的潜变量变换到实数空间并用自动微分优化 ELBO。

  4. 4

    系统梳理了重参数化与得分函数等梯度估计方法,对应教材的推断与可微部分。

    读读路径导数与得分函数估计的区别,以及各自的方差问题。

  5. 5

    Edward 是把概率模型、推断和检验放进深度学习框架的一个实际系统。

    读看它如何把模型、推断、批评拆成可组合的部件。

  6. 6

    展示如何为概率程序训练摊销(amortized)推断网络。

    读抓用神经网络近似后验、对概率程序做推断编译的思路。

  7. 7
    An Introduction to Probabilistic Programming概率编程导论 · 2018 · 就是这篇

    系统介绍概率编程语言的设计、推断算法和可微编程。

    读先读条件化(conditioning)的动机,再依次读语言设计、求值式推断和基于梯度的方法。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐pinouchon · 2019-06

“An Introduction to Probabilistic Programming An Introduction to Probabilistic Programming By Jan-Willem van de Meent, Brooks Paige, Hongseok Yang, Frank Wood”

列出这本概率编程导论
A general-purpose probabilistic programming system with programmable inference原评论 ↗
推荐nextos · 2022-03

“A nice follow up is [1], which delves more into more technical inference aspects.”

推荐作为后续阅读,更深入讲解技术层面的推断
Probabilistic Models of Cognition原评论 ↗
推荐nextos · 2023-08

“I think the main outcome from Anglican was a great theoretical textbook”

称 Anglican 的主要成果是一本出色的理论教科书
A History of Clojure (2020) [pdf]原评论 ↗
引用credit_guy · 2018-10

“That book is, by all definitions, an advanced book about AI. How many people without a PhD can read that?”

指出这本书是 AI 高阶读物,没有博士学位很难读懂
Google DeepMind Founder Demis Hassabis: Three Truths about AI原评论 ↗
被提交为 story · 3 次