按年被提到
20152016 · 1 次2026
机器学习与深度学习›神经网络架构探索·arXiv:1511.05641 · cs.LG

Net2Net: Accelerating Learning via Knowledge Transfer

Net2Net:通过知识迁移加速学习
Tianqi Chen, Ian Goodfellow, Jonathon Shlens · 2015

Net2Net:用函数保持变换把小网络知识迁移到更大网络

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2016-05-23 · 最近 2026-10-07
3不同的人
3活跃月份
3讨论串
429被引(OpenAlex)

论文提出 Net2Net,通过在网络规格之间做函数保持变换,把已训练网络的知识立即迁移到更深或更宽的新网络,从而加速大网络的训练和实验迭代。与以往改变网络所表示函数的预训练不同,该方法保证扩展后函数不变,并借此在 Inception 模块加深后在 ImageNet 上取得了当时的最好精度。

HN 为什么提它

HN 评论者把它当作先蒸馏再扩展的小模型长大循环里的经典参考,说明可以通过函数保持的插层来生长已训练网络。

方法难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1神经网络训练基础
2卷积神经网络与 Inception 结构
3知识蒸馏(knowledge distillation)
4迁移学习与预训练

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看知识蒸馏的思路,再看目标论文实验所用的 Inception 类网络,最后读 Net2Net。

  1. 1
    Distilling the Knowledge in a Neural Network蒸馏神经网络中的知识 · 2015

    同样是把一个模型的知识转移给另一个模型,是理解知识迁移这一类思路的起点。

    读软目标与温度的概念,以及它与 Net2Net 函数保持变换在做法上的不同。

  2. 2
    Going Deeper with Convolutions用卷积走得更深 · 2014

    目标论文的实验把 Net2Net 用在 Inception 网络上,需要先知道这种结构。

    读Inception 模块的组成与整体结构,便于理解加宽和加深的对象。

  3. 3
    Net2Net: Accelerating Learning via Knowledge TransferNet2Net:通过知识迁移加速学习 · 2015 · 就是这篇

    目标论文:用函数保持变换把小网络的知识迁移到更宽、更深的网络。

    读Net2WiderNet 与 Net2DeeperNet 两种操作如何保持函数不变,以及加速训练的实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐calebkaiser · 2026-10

“A classic paper on "expanding" a neural network (the second part of your distil-then-grow loop) is Net2Net.”

推荐 Net2Net 作为「扩展」神经网络的经典论文
UniEvo-VL: Self-Distillation Training for Multimodal Model Self-Improvement原评论 ↗
引用simonster · 2019-03

“There's at least one existing paper about this idea.”

指出已有论文研究过这个想法,即在保持函数不变的前提下增长网络
Adding layers to the middle of trained network without invalidating the weights原评论 ↗
被提交为 story · 1 次