引用sdrinf · 2016-11
“Source: Marta Garnelo et al: Towards Deep Symbolic Reinforcement Learning Towards Deep Symbolic Reinforcement Learning”
引出这篇神经符号混合 RL 论文,用深度学习解决符号接地
神经网络后端加符号前端的端到端强化学习架构原型
指出当前深度强化学习需要海量数据、缺乏抽象推理能力、运行过程对人不透明,据此提出由神经网络后端和符号前端组成的端到端强化学习架构,有望克服这些缺点。作者在若干个简单电子游戏变体上实现了初步原型,学到了易于人类理解的符号规则,并在游戏的随机变体上大幅优于传统的全神经网络深度强化学习系统。
评论者把它当作神经符号混合强化学习的例子,认为深度学习可用来解决符号落地问题,并作为另一个小组结合符号与深度学习的近期工作来引用。
先看深度强化学习的奠基工作,再读认知科学视角对类人学习的批评,这样更容易看懂符号前端加神经后端的动机。
深度强化学习的起点,目标论文的神经后端和它面对的局限都出自这里
读看 Q 学习与卷积网络结合的方式,以及从像素学习的设定
指出当前深度学习缺少因果模型和组合性,是引入符号表示的动机
读看关于组合性、因果模型和从少量数据学习的论述
用符号前端加神经后端回应数据效率与抽象推理的不足
读看符号前端如何抽取对象与关系,再交给强化学习后端
“Source: Marta Garnelo et al: Towards Deep Symbolic Reinforcement Learning Towards Deep Symbolic Reinforcement Learning”
“but here is some recent work from another group: Towards Deep Symbolic Reinforcement Learning”