“The paper is well-written, and I would recommend reading its abstract and introduction over the OP.”
Parameter Prediction for Unseen Deep Architectures
用图超网络一次前向直接预测未见网络的全部参数
论文研究能否利用训练其他网络的经验,直接用深度学习预测神经网络参数。作者构建了包含多种神经网络计算图的大规模数据集 DeepNets-1M,并借助图神经网络提出一种超网络,一次前向传播(CPU 上也只需不到一秒)就能为未见过的架构预测出有效参数。例如,它为 ResNet-50 预测的全部约 2400 万个参数在 CIFAR-10 上可达 60% 准确率,ImageNet 上部分网络的 top-5 准确率接近 50%。
评论者认为论文写得很好,建议直接读它的摘要和引言,比读讨论串里的原帖更有收获。
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先了解梯度下降类优化器和学习优化器、元学习,再看图神经网络和代表性的网络架构(残差网络、Transformer)与架构搜索空间,理解目标论文为何能用图超网络直接预测网络参数。
- 1
目标论文要替代的就是手工设计的优化算法,先了解这些优化器的原理。
读SGD、动量、Adam 等各算法的更新规则与差别。
- 2
让网络学会做优化器,是「用学习的方法取代手工优化」的前驱思路。
读用 LSTM 作为优化器、跨任务训练的做法。
- 3
MAML 同样利用其他任务的训练经验加快新任务的适应,可对照目标论文借助过往训练网络的知识。
读内外层梯度更新的结构,以及为新任务找好初始参数的想法。
- 4
目标论文把网络表示为计算图并用图神经网络处理,GCN 是最基础的一类图网络。
读图卷积层的传播规则,理解节点如何聚合邻居信息。
- 5
架构搜索空间里的网络结构表示是 DeepNets-1M 数据集生成多样架构时可借鉴的做法。
读搜索空间由单元与算子构成的设定;搜索算法本身可略读。
- 6
- 7
- 8Parameter Prediction for Unseen Deep Architectures
建立大规模网络计算图数据集,并用图超网络一次前向直接预测未见网络的全部参数。
读先读 DeepNets-1M 数据集的构造,再看图超网络如何对计算图编码并输出各层参数。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Parameter Prediction for Unseen Deep Architectures [1]”
- Hypernetworks for prediction of neural network parameters ↗pierremenard · 2021-11-28 · 1 分
- Parameter Prediction for Unseen Deep Architectures ↗jedwhite · 2022-03-10 · 2 分