按年被提到
20162016 · 3 次2026
强化学习与智能体›博弈与游戏 AI·arXiv:1609.05518 · cs.AI

Towards Deep Symbolic Reinforcement Learning

迈向深度符号强化学习
Marta Garnelo, Kai Arulkumaran, Murray Shanahan · 2016

神经网络后端加符号前端的端到端强化学习架构原型

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2016-10-08 · 最近 2016-12-27
3不同的人
3活跃月份
3讨论串
146被引(OpenAlex)

指出当前深度强化学习需要海量数据、缺乏抽象推理能力、运行过程对人不透明,据此提出由神经网络后端和符号前端组成的端到端强化学习架构,有望克服这些缺点。作者在若干个简单电子游戏变体上实现了初步原型,学到了易于人类理解的符号规则,并在游戏的随机变体上大幅优于传统的全神经网络深度强化学习系统。

HN 为什么提它

评论者把它当作神经符号混合强化学习的例子,认为深度学习可用来解决符号落地问题,并作为另一个小组结合符号与深度学习的近期工作来引用。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1深度强化学习(DQN)
2符号人工智能与逻辑规则
3符号落地问题(symbol grounding)
4迁移学习与类比推理

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看深度强化学习的奠基工作,再读认知科学视角对类人学习的批评,这样更容易看懂符号前端加神经后端的动机。

  1. 1
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    深度强化学习的起点,目标论文的神经后端和它面对的局限都出自这里

    读看 Q 学习与卷积网络结合的方式,以及从像素学习的设定

  2. 2
    Building Machines That Learn and Think Like People构建像人一样学习和思考的机器 · 2016

    指出当前深度学习缺少因果模型和组合性,是引入符号表示的动机

    读看关于组合性、因果模型和从少量数据学习的论述

  3. 3
    Towards Deep Symbolic Reinforcement Learning迈向深度符号强化学习 · 2016 · 就是这篇

    用符号前端加神经后端回应数据效率与抽象推理的不足

    读看符号前端如何抽取对象与关系,再交给强化学习后端

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用sdrinf · 2016-11

“Source: Marta Garnelo et al: Towards Deep Symbolic Reinforcement Learning Towards Deep Symbolic Reinforcement Learning”

引出这篇神经符号混合 RL 论文,用深度学习解决符号接地
Microsoft Concept Graph原评论 ↗
引用Eridrus · 2016-12

“but here is some recent work from another group: Towards Deep Symbolic Reinforcement Learning”

指出另一个小组结合符号方法与深度学习的近期工作
Symbolic Machine Learning原评论 ↗
被提交为 story · 1 次