按年被提到
20092010 · 1 次2026
强化学习与智能体›进化策略与探索·arXiv:0909.0801 · cs.AI

A Monte Carlo AIXI Approximation

蒙特卡洛 AIXI 近似
Joel Veness, Kee Siong Ng, Marcus Hutter, William Uther, David Silver · 2009

首个计算上可行的 AIXI 近似,让通用强化学习智能体落地

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2010-03-09 · 最近 2024-01-31
3不同的人
3活跃月份
3讨论串
165被引(OpenAlex)

AIXI 是通用强化学习智能体的贝叶斯最优标准,此前不清楚它能否指导实用算法的设计。论文给出第一个计算上可行的 AIXI 近似:提出新的蒙特卡洛树搜索算法,并为智能体扩展了上下文树加权(Context Tree Weighting)算法,在多个随机、部分可观测的环境中得到令人鼓舞的结果。

HN 为什么提它

评论者把它当作 AIXI 或 Solomonoff 归纳的实用近似来引用,用来说明这类理论上的最优智能体并非完全无法落地。

方法难度 5 / 5约 120 分钟经得起时间
读之前最好知道
1强化学习(reinforcement learning)
2贝叶斯推断(Bayesian inference)
3蒙特卡洛树搜索(Monte-Carlo Tree Search)
4Solomonoff 归纳与 Kolmogorov 复杂度
5上下文树加权(Context Tree Weighting)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用orangecat · 2010-03

“there's a variation using Monte Carlo search that apparently does pretty well: A Monte Carlo AIXI Approximation”

指出有一种用蒙特卡洛搜索逼近 AIXI 的变体,效果似乎不错
The Single Sign On原评论 ↗
引用tlb · 2018-11

“People have made plausible attempts to approximate SI with practical amounts of computing, like AIXI.”

拿它作为用实际算力近似 Solomonoff induction 的可信尝试
The impossibility of intelligence explosion原评论 ↗
引用sanxiyn · 2024-01

“Here is a paper by some of the same authors: A Monte Carlo AIXI Approximation (2009). A Monte Carlo AIXI Approximation”

补充同一批作者早期做的蒙特卡洛 AIXI 近似工作
Learning Universal Predictors原评论 ↗