“The other answer being, of course, to prove[4] a mathematical theorem around some hard definition of safe exploration in reinforcement learning.”
按年被提到
20202020 · 1 次2026
Curiosity Killed or Incapacitated the Cat and the Asymptotically Optimal Agent
好奇心害死猫,或使其丧失行动力:渐近最优智能体
Michael K. Cohen, Elliot Catt, Marcus Hutter · 2020
证明渐近最优强化学习智能体终将被毁或瘫痪,并提出 Mentee
被提及 · 3 人首次 2020-06-19 · 最近 2026-02-13
3不同的人
3活跃月份
3讨论串
0被引(OpenAlex)
论文证明,若一个智能体被保证在任何(随机可计算的)环境中都是渐近最优的,那么在对真实环境的某个假设下,它会以概率 1 被“毁灭”或“丧失行动力”。强化学习中常用的遍历性假设回避了这一问题,作者认为它可能把安全探索策略的研究引入歧途;他们因此提出智能体 Mentee,只保证逼近导师的表现,并以期望信息增益决定探索概率,做安全探索。在一个简单的非遍历环境和弱导师下,Mentee 优于现有渐近最优智能体及其导师。
HN 为什么提它
HN 评论者引用它说明安全探索可以通过证明数学定理来给出严格定义,以及渐近最优智能体仍可能陷入灾难性状态。
奠基之作难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1强化学习基础
2遍历性(ergodicity)假设
3贝叶斯推断(Bayesian inference)
4AIXI 与通用人工智能理论
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你建立 AIXI 与通用强化学习的背景,理解渐近最优的含义及其问题,再读目标论文对风险的结论。
- 1
AIXI 的可计算近似,目标论文讨论的渐近最优智能体就属于这一类。
读AIXI 的定义,以及 Monte Carlo 近似如何做到计算上可行;不必细读实验。
- 2
指出 AIXI 的最优性依赖通用图灵机的选择,是对渐近最优这一概念的前序批评。
读通用先验的主观性,以及渐近最优在何种意义上并不真正代表好的行为。
- 3
- 4Curiosity Killed or Incapacitated the Cat and the Asymptotically Optimal Agent
目标论文:证明渐近最优智能体终将被毁或瘫痪,并提出 Mentee。
读渐近最优、毁灭与瘫痪的定义,主要定理,以及 Mentee 的构造。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用sinenomine · 2022-05
把它当作对 RL 中安全探索给出严格数学定义的定理
引用measurablefunc · 2026-02
“Moreover, there is also the problem of catastrophic state avoidance even for asymptotically optimal agents: Curiosity Killed or Incapacitated the Cat and the Asymptotically Optimal Agent.”
拿它说明即便渐近最优的智能体也会有灾难性状态规避问题
被提交为 story · 1 次
- Curiosity Killed the Cat and the Asymptotically Optimal Agent ↗memexy · 2020-06-19 · 2 分