“that is different but very interesting”
按年被提到
20172017 · 5 次2026
PathNet: Evolution Channels Gradient Descent in Super Neural Networks
PathNet:进化引导超大神经网络中的梯度下降
Chrisantha Fernando, Dylan Banarse, Charles Blundell, Yori Zwols, David Ha, Andrei A. Rusu, Alexander Pritzel, Daan Wierstra · 2017
用进化算法选出可复用的网络路径,在任务间迁移而不遗忘
被推荐 · 6 人首次 2017-02-13 · 最近 2020-06-29
6不同的人
3活跃月份
6讨论串
617被引(OpenAlex)
PathNet 在神经网络中嵌入智能体,让它们去发现新任务应该复用网络的哪些部分;每个智能体是穿过网络的一条路径,决定前向与反向传播所用和所更新的参数子集,并用锦标赛选择式遗传算法对路径做复制与变异。固定任务 A 学到的路径、再为任务 B 进化新路径,B 学得比从头学或微调更快;在二值 MNIST、CIFAR、SVHN 以及 Atari、Labyrinth 强化学习任务上都观察到正迁移,还提升了 A3C 对超参数的鲁棒性。
HN 为什么提它
提及者不多:评论者把它当作进化加梯度下降、模块化子网路径的例子,2017 年也有人把它贴为 AGI 进展的证据但未加评价。
方法难度 4 / 5约 30 分钟经得起时间
读之前最好知道
1迁移学习与灾难性遗忘
2遗传算法与锦标赛选择
3反向传播与强化学习(A3C)
4模块化神经网络
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我建立深度强化学习与模型间知识迁移(蒸馏、Net2Net)的背景,再读 PathNet 如何用进化选择路径来避免遗忘。
- 1
PathNet 的强化学习实验建立在深度 RL 之上,这是 DQN 的起点。
读深度 Q 学习的基本设定;不必深究 Atari 的具体结果。
- 2
PathNet 在强化学习实验中使用异步的 actor-critic 训练。
读异步并行 actor-learner 的思路,尤其 A3C 的训练框架。
- 3
它代表另一种在模型间传递知识的方式,是 PathNet 所处迁移学习背景的一部分。
读软目标与温度的概念,了解蒸馏的目标。
- 4
它代表通过知识迁移加速学习的另一条路线,可与 PathNet 的参数复用作对比。
读函数保持的网络加宽与加深变换,以及其动机。
- 5PathNet: Evolution Channels Gradient Descent in Super Neural Networks
目标论文:用进化算法选出可复用路径来迁移而不遗忘。
读路径与锦标赛选择的算法、参数冻结方式,以及二元 MNIST 和 Atari 迁移实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐tjwhitaker · 2020-06
推荐它,觉得思路不同但非常有意思
引用brudgers · 2017-02
“PathNet paper: PathNet”
贴出 PathNet 论文,说明智能体进化出跨任务复用参数的路径
引用AndrewKemendo · 2017-03
“AGI: PathNet”
把它当作 AGI 进展的证据贴出,没有展开评价
被提交为 story · 3 次
- PathNet: Evolution Channels Gradient Descent in Super Neural Networks ↗heydenberk · 2017-02-13 · 3 分
- PathNet: Evolution Channels Gradient Descent in Super Neural Networks ↗jweissman · 2017-02-18 · 60 分
- DeepMind's PathNet – potentially describing how general AI will look like ↗danm07 · 2017-03-09 · 1 分