按年被提到
20212022 · 2 次2026
机器学习与深度学习›神经网络架构探索·arXiv:2110.13100 · cs.LG

Parameter Prediction for Unseen Deep Architectures

为未见过的深度网络预测参数
Boris Knyazev, Michal Drozdzal, Graham W. Taylor, Adriana Romero-Soriano · 2021

用图超网络一次前向直接预测未见网络的全部参数

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2021-11-28 · 最近 2026-11-02
4不同的人
4活跃月份
4讨论串
21被引(OpenAlex)

论文研究能否利用训练其他网络的经验,直接用深度学习预测神经网络参数。作者构建了包含多种神经网络计算图的大规模数据集 DeepNets-1M,并借助图神经网络提出一种超网络,一次前向传播(CPU 上也只需不到一秒)就能为未见过的架构预测出有效参数。例如,它为 ResNet-50 预测的全部约 2400 万个参数在 CIFAR-10 上可达 60% 准确率,ImageNet 上部分网络的 top-5 准确率接近 50%。

HN 为什么提它

评论者认为论文写得很好,建议直接读它的摘要和引言,比读讨论串里的原帖更有收获。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1图神经网络(GNN)
2超网络(hypernetwork)
3神经网络计算图与架构表示
4CIFAR-10 / ImageNet 训练基础

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先了解梯度下降类优化器和学习优化器、元学习,再看图神经网络和代表性的网络架构(残差网络、Transformer)与架构搜索空间,理解目标论文为何能用图超网络直接预测网络参数。

  1. 1
    An overview of gradient descent optimization algorithms梯度下降优化算法概述 · 2016

    目标论文要替代的就是手工设计的优化算法,先了解这些优化器的原理。

    读SGD、动量、Adam 等各算法的更新规则与差别。

  2. 2
    Learning to learn by gradient descent by gradient descent用梯度下降学习梯度下降 · 2016

    让网络学会做优化器,是「用学习的方法取代手工优化」的前驱思路。

    读用 LSTM 作为优化器、跨任务训练的做法。

  3. 3
    Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks与模型无关的元学习:深度网络的快速适应 · 2017

    MAML 同样利用其他任务的训练经验加快新任务的适应,可对照目标论文借助过往训练网络的知识。

    读内外层梯度更新的结构,以及为新任务找好初始参数的想法。

  4. 4
    Semi-Supervised Classification with Graph Convolutional Networks基于图卷积网络的半监督分类 · 2016

    目标论文把网络表示为计算图并用图神经网络处理,GCN 是最基础的一类图网络。

    读图卷积层的传播规则,理解节点如何聚合邻居信息。

  5. 5
    DARTS: Differentiable Architecture SearchDARTS:可微分架构搜索 · 2018

    架构搜索空间里的网络结构表示是 DeepNets-1M 数据集生成多样架构时可借鉴的做法。

    读搜索空间由单元与算子构成的设定;搜索算法本身可略读。

  6. 6
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    残差网络是被预测参数的典型网络之一,也是数据集里常见的架构。

    读残差块与整体网络结构。

  7. 7
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    Transformer 是目标论文需要覆盖的另一类网络架构,图超网络本身也使用了其中的组件。

    读多头自注意力与层归一化的基本结构。

  8. 8
    Parameter Prediction for Unseen Deep Architectures为未见过的深度网络预测参数 · 2021 · 就是这篇

    建立大规模网络计算图数据集,并用图超网络一次前向直接预测未见网络的全部参数。

    读先读 DeepNets-1M 数据集的构造,再看图超网络如何对计算图编码并输出各层参数。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐cs702 · 2022-01

“The paper is well-written, and I would recommend reading its abstract and introduction over the OP.”

推荐,称论文写得好,建议读摘要和引言而不是原帖
Researchers Build AI That Builds AI原评论 ↗
引用_bobm · 2026-11

“Parameter Prediction for Unseen Deep Architectures [1]”

列出它作为根据网络架构预测权重的前人工作
Astra can read and write weights to improve Qwen原评论 ↗
被提交为 story · 2 次