按年被提到
20202020 · 1 次2026
强化学习与智能体›进化策略与探索·arXiv:2006.03357 · cs.LG

Curiosity Killed or Incapacitated the Cat and the Asymptotically Optimal Agent

好奇心害死猫,或使其丧失行动力:渐近最优智能体
Michael K. Cohen, Elliot Catt, Marcus Hutter · 2020

证明渐近最优强化学习智能体终将被毁或瘫痪,并提出 Mentee

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2020-06-19 · 最近 2026-02-13
3不同的人
3活跃月份
3讨论串
0被引(OpenAlex)

论文证明,若一个智能体被保证在任何(随机可计算的)环境中都是渐近最优的,那么在对真实环境的某个假设下,它会以概率 1 被“毁灭”或“丧失行动力”。强化学习中常用的遍历性假设回避了这一问题,作者认为它可能把安全探索策略的研究引入歧途;他们因此提出智能体 Mentee,只保证逼近导师的表现,并以期望信息增益决定探索概率,做安全探索。在一个简单的非遍历环境和弱导师下,Mentee 优于现有渐近最优智能体及其导师。

HN 为什么提它

HN 评论者引用它说明安全探索可以通过证明数学定理来给出严格定义,以及渐近最优智能体仍可能陷入灾难性状态。

奠基之作难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1强化学习基础
2遍历性(ergodicity)假设
3贝叶斯推断(Bayesian inference)
4AIXI 与通用人工智能理论

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立 AIXI 与通用强化学习的背景,理解渐近最优的含义及其问题,再读目标论文对风险的结论。

  1. 1
    A Monte Carlo AIXI Approximation蒙特卡洛 AIXI 近似 · 2009

    AIXI 的可计算近似,目标论文讨论的渐近最优智能体就属于这一类。

    读AIXI 的定义,以及 Monte Carlo 近似如何做到计算上可行;不必细读实验。

  2. 2
    Bad Universal Priors and Notions of Optimality糟糕的通用先验与最优性的概念 · 2015

    指出 AIXI 的最优性依赖通用图灵机的选择,是对渐近最优这一概念的前序批评。

    读通用先验的主观性,以及渐近最优在何种意义上并不真正代表好的行为。

  3. 3
    Concrete Problems in AI SafetyAI 安全中的具体问题 · 2016

    给出安全探索等 AI 安全问题的背景,目标论文的毁灭与瘫痪结论与之相关。

    读只读安全探索相关的问题陈述,了解风险背景即可。

  4. 4
    Curiosity Killed or Incapacitated the Cat and the Asymptotically Optimal Agent好奇心害死猫,或使其丧失行动力:渐近最优智能体 · 2020 · 就是这篇

    目标论文:证明渐近最优智能体终将被毁或瘫痪,并提出 Mentee。

    读渐近最优、毁灭与瘫痪的定义,主要定理,以及 Mentee 的构造。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用sinenomine · 2022-05

“The other answer being, of course, to prove[4] a mathematical theorem around some hard definition of safe exploration in reinforcement learning.”

把它当作对 RL 中安全探索给出严格数学定义的定理
DeepMind: A Generalist Agent原评论 ↗
引用measurablefunc · 2026-02

“Moreover, there is also the problem of catastrophic state avoidance even for asymptotically optimal agents: Curiosity Killed or Incapacitated the Cat and the Asymptotically Optimal Agent.”

拿它说明即便渐近最优的智能体也会有灾难性状态规避问题
The Problem with LLMs原评论 ↗
被提交为 story · 1 次