按年被提到
20152015 · 2 次2026
强化学习与智能体›进化策略与探索·arXiv:1509.08731 · stat.ML

Variational Information Maximisation for Intrinsically Motivated Reinforcement Learning

内在动机强化学习的变分信息最大化
Shakir Mohamed, Danilo Jimenez Rezende · 2015

用变分下界和卷积网络,从像素端到端优化赋能

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2015-10-23 · 最近 2016-06-08
3不同的人
3活跃月份
3讨论串
271被引(OpenAlex)

互信息优化多依赖指数复杂度的 Blahut-Arimoto 算法,不适合现代机器学习。论文把变分推断与深度学习结合,提出可扩展的互信息优化方法,并以内在动机学习中的“赋能(empowerment)”为切入点:利用互信息的变分下界与卷积网络处理视觉输入,得到随机优化算法,可直接从像素到动作做基于赋能的推理。

HN 为什么提它

评论者引用它作为基于互信息(如动作序列与未来状态之间)的内在奖励的例子,并称它是 DeepMind 研究者在这一方向上的近期工作。

方法难度 5 / 5约 70 分钟经得起时间
读之前最好知道
1互信息(mutual information)
2变分推断(variational inference)
3强化学习与内在动机
4卷积神经网络
5Blahut-Arimoto 算法

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用davmre · 2015-10

“such as mutual information between the agents' action sequence and future state, e.g. Variational Information Maximisation for Intrinsically Motivated Reinforcement Learning”

举例:以行动序列与未来状态的互信息作为内在奖励
Obstacles on the Path to AI原评论 ↗
引用ogrisel · 2015-12

“A recent paper by 2 Google Deepmind researchers on this topic:”

推荐两位 Google DeepMind 研究者关于此话题的近期论文
The A.I. Anxiety原评论 ↗
引用kastnerkyle · 2016-06

“DeepMind has been tracking this general problem for a while [1]”

指出 DeepMind 一直在关注这个问题,以此作背景引用
Deep Mind Playing Montezuma's Revenge with Intrinsic Motivation [video]原评论 ↗