推荐calebkaiser · 2026-10
“A classic paper on "expanding" a neural network (the second part of your distil-then-grow loop) is Net2Net.”
推荐 Net2Net 作为「扩展」神经网络的经典论文
Net2Net:用函数保持变换把小网络知识迁移到更大网络
论文提出 Net2Net,通过在网络规格之间做函数保持变换,把已训练网络的知识立即迁移到更深或更宽的新网络,从而加速大网络的训练和实验迭代。与以往改变网络所表示函数的预训练不同,该方法保证扩展后函数不变,并借此在 Inception 模块加深后在 ImageNet 上取得了当时的最好精度。
HN 评论者把它当作先蒸馏再扩展的小模型长大循环里的经典参考,说明可以通过函数保持的插层来生长已训练网络。
这条路径先看知识蒸馏的思路,再看目标论文实验所用的 Inception 类网络,最后读 Net2Net。
同样是把一个模型的知识转移给另一个模型,是理解知识迁移这一类思路的起点。
读软目标与温度的概念,以及它与 Net2Net 函数保持变换在做法上的不同。
目标论文的实验把 Net2Net 用在 Inception 网络上,需要先知道这种结构。
读Inception 模块的组成与整体结构,便于理解加宽和加深的对象。
目标论文:用函数保持变换把小网络的知识迁移到更宽、更深的网络。
读Net2WiderNet 与 Net2DeeperNet 两种操作如何保持函数不变,以及加速训练的实验。
“A classic paper on "expanding" a neural network (the second part of your distil-then-grow loop) is Net2Net.”
“There's at least one existing paper about this idea.”