按年被提到
20162016 · 1 次2026
机器学习与深度学习›神经科学启发的 AI·arXiv:1612.00796 · cs.LG

Overcoming catastrophic forgetting in neural networks

克服神经网络中的灾难性遗忘
James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A. Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka Grabska-Barwinska, Demis Hassabis, Claudia Clopath 等 14 人 · 2016

EWC:放慢对旧任务重要权重的学习,使网络顺序学习多任务不遗忘

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2016-12-05 · 最近 2025-06-14
3不同的人
3活跃月份
3讨论串
7,917被引(OpenAlex)

神经网络通常无法顺序学习多个任务,灾难性遗忘一度被认为是连接主义模型不可避免的特性。这篇论文表明可以克服这一限制,方法是选择性地放慢对那些对旧任务重要的权重的学习,从而记住旧任务,使网络对长期未经历的任务仍保持能力。作者用基于 MNIST 的一组分类任务和顺序学习若干 Atari 2600 游戏,证明该方法可扩展且有效。

HN 为什么提它

评论者用它反驳对神经网络的悲观文章,说明灾难性遗忘已有研究进展,后来也出现在持续学习论文清单里。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1神经网络与梯度下降
2灾难性遗忘与持续学习
3贝叶斯推断(Bayesian inference)
4强化学习基础(Atari)

学习路径

读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看另一种避免灾难性遗忘的网络结构,再读 EWC 如何用权重重要性约束解决同一问题。

  1. 1
    Progressive Neural Networks渐进式神经网络 · 2016

    同一问题的另一种方案,用新增列与横向连接保留旧任务知识

    读看渐进式网络如何冻结旧列,并对比 EWC 的不扩张网络的做法

  2. 2
    Overcoming catastrophic forgetting in neural networks克服神经网络中的灾难性遗忘 · 2016 · 就是这篇

    通过放慢对旧任务重要权重的学习来顺序学习多任务

    读重点看 Fisher 信息衡量权重重要性及二次惩罚项的推导

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用ilaksh · 2017-09

“The pessimistic articles never seem to be aware of research like these”

拿它反驳悲观文章,说明灾难性遗忘已有研究进展
Is AI Riding a One-Trick Pony?原评论 ↗
引用johnsmith1840 · 2025-06

“Preventing collapse -> model gets "full" Overcoming catastrophic forgetting in neural networks”

把它列为持续学习论文之一,对应模型变得“满了”的问题
Self-Adapting Language Models原评论 ↗
被提交为 story · 1 次