按年被提到
20182018 · 4 次2026
强化学习与智能体›深度强化学习与世界模型·arXiv:1803.10760 · cs.LG

Unsupervised Predictive Memory in a Goal-Directed Agent

目标导向智能体中的无监督预测式记忆
Greg Wayne, Chia-Chun Hung, David Amos, Mehdi Mirza, Arun Ahuja, Agnieszka Grabska-Barwinska, Jack Rae, Piotr Mirowski, Joel Z. Leibo, Adam Santoro, Mevlana Gemici, Malcolm Reynolds 等 24 人 · 2018

MERLIN:以预测建模引导记忆形成,解决严重部分可观测任务

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2018-04-18 · 最近 2018-06-03
3不同的人
3活跃月份
4讨论串
137被引(OpenAlex)

作者指出当前的强化学习算法在传感器信息被大量遮蔽(部分可观测)时,连简单任务都难以解决;而仅有大容量记忆并不够,关键是以合适的格式存储合适的信息。为此提出 MERLIN(记忆、强化学习与推断网络),由预测建模过程引导记忆的形成,使其能解决部分可观测性严重、需要长时间保持记忆的 3D 虚拟现实任务,并展示一个单一的学习智能体架构即可解决心理学和神经生物学中的经典行为任务,而无需对感官输入维度或经验时长做强简化假设。

HN 为什么提它

评论者称赞这篇论文的呈现方式清晰易读,并认为带记忆的强化学习结果是迈向类人通用智能的重要一步。

方法难度 4 / 5约 80 分钟经得起时间
读之前最好知道
1深度强化学习
2部分可观测环境(POMDP)
3记忆增强网络(如 DNC)
4变分推断与生成模型
5预测建模(predictive modeling)

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立 A3C 类深度强化学习、辅助任务和元强化学习的背景,再看 MERLIN 如何用预测建模引导记忆。

  1. 1
    Asynchronous Methods for Deep Reinforcement Learning深度强化学习的异步方法 · 2016

    MERLIN 的强化学习训练沿用了 actor-critic 这一类策略梯度方法。

    读读 A3C 的异步 actor-critic 与优势函数。

  2. 2

    UNREAL 用无监督辅助任务帮助智能体学习表示,是 MERLIN 对比的基线之一。

    读读辅助任务(像素控制、奖励预测)如何加速学习,以及它没有显式记忆的局限。

  3. 3
    RL$^2$: Fast Reinforcement Learning via Slow Reinforcement LearningRL²:通过慢速强化学习实现快速强化学习 · 2016

    把循环网络的隐状态当作记忆来学习强化学习算法,是 MERLIN 所处的相关路线。

    读读用 RNN 在多个回合里保存信息的做法。

  4. 4
    Learning to reinforcement learn学习如何强化学习 · 2016

    同样用循环网络做元强化学习,展示记忆在部分可观测任务中的作用。

    读读循环网络如何在任务内适应,对照 MERLIN 用预测来训练记忆。

  5. 5
    Unsupervised Predictive Memory in a Goal-Directed Agent目标导向智能体中的无监督预测式记忆 · 2018 · 就是这篇

    用预测建模引导记忆的形成,解决严重部分可观测的任务。

    读重点读记忆模块与预测模型(变分自编码器式)的分工,以及策略如何读取记忆。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
强烈推荐goolulusaurs · 2018-04

“Awesome paper, and I thought the way the material was presented was excellent and made for a great read.”

称赞论文很棒,呈现方式出色、读起来很享受
A step-by-step guide to the “World Models” AI paper原评论 ↗
推荐goolulusaurs · 2018-06

“very impressive results that seem to me to be a very significant step towards human-like general purpose intelligence”

认为结果令人印象深刻,是迈向类人通用智能的重要一步
Deep learning: a critical appraisal原评论 ↗
引用nopinsight · 2018-05

“new advances are still being made regularly by DeepMind, OpenAI, and other teams.”

举它为 DeepMind、OpenAI 等持续取得进展的例子
AI winter is well on its way原评论 ↗
被提交为 story · 1 次