引用ilaksh · 2017-09
“The pessimistic articles never seem to be aware of research like these”
拿它反驳悲观文章,说明灾难性遗忘已有研究进展
EWC:放慢对旧任务重要权重的学习,使网络顺序学习多任务不遗忘
神经网络通常无法顺序学习多个任务,灾难性遗忘一度被认为是连接主义模型不可避免的特性。这篇论文表明可以克服这一限制,方法是选择性地放慢对那些对旧任务重要的权重的学习,从而记住旧任务,使网络对长期未经历的任务仍保持能力。作者用基于 MNIST 的一组分类任务和顺序学习若干 Atari 2600 游戏,证明该方法可扩展且有效。
评论者用它反驳对神经网络的悲观文章,说明灾难性遗忘已有研究进展,后来也出现在持续学习论文清单里。
先看另一种避免灾难性遗忘的网络结构,再读 EWC 如何用权重重要性约束解决同一问题。
通过放慢对旧任务重要权重的学习来顺序学习多任务
读重点看 Fisher 信息衡量权重重要性及二次惩罚项的推导
“The pessimistic articles never seem to be aware of research like these”
“Preventing collapse -> model gets "full" Overcoming catastrophic forgetting in neural networks”