按年被提到
20192020 · 6 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1911.13299 · cs.CV

What's Hidden in a Randomly Weighted Neural Network?

随机权重神经网络中隐藏着什么?
Vivek Ramanujan, Mitchell Wortsman, Aniruddha Kembhavi, Ali Farhadi, Mohammad Rastegari · 2019

随机权重网络里藏着无需训练权重就表现良好的子网络

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 9 人首次 2019-12-03 · 最近 2023-04-24
9不同的人
7活跃月份
8讨论串
241被引(OpenAlex)

训练神经网络通常等同于学习权重值,作者则证明随机权重的网络中存在无需训练权重就有出色表现的子网络:在随机权重的 Wide ResNet-50 中,存在一个比 ResNet-34 更小、在 ImageNet 上与已训练 ResNet-34 表现相当的(随机权重)子网络。作者还给出了有效找到这些「未训练子网络」的算法,并通过实验表明随着固定权重的随机网络变宽变深,其未训练子网络的精度逐渐接近权重已学习的网络。

HN 为什么提它

HN 上的人引用它来说明在随机网络中通过剪枝找出好用子网络的思路(权重不经训练),也有人认为这只说明参数空间极其庞大。

实证研究难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1神经网络剪枝(pruning)
2彩票假设(lottery ticket hypothesis)
3ResNet 架构
4梯度下降与权重初始化

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先熟悉残差网络与初始化,再看彩票假设(稀疏子网络的存在),最后读目标论文如何在随机权重网络里直接找出可用子网络。

  1. 1
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    目标论文的实验网络(ResNet-34、Wide ResNet-50)来自这个架构族。

    读残差块的结构。

  2. 2

    目标论文在随机权重的 Wide ResNet-50 里找子网络,需要了解宽残差网络。

    读加宽而不是加深的设计思路。

  3. 3
    Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification深入研究整流器:在 ImageNet 分类上超越人类水平 · 2015

    目标论文的随机权重需要合适的初始化方案,He 初始化是其基础。

    读初始化的方差设置。

  4. 4
    The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks彩票假设:寻找稀疏且可训练的神经网络 · 2018

    彩票假设说明稠密网络中存在稀疏可训练子网络,目标论文把它推进到无需训练权重的子网络。

    读剪枝并回到初始权重重新训练的流程与发现。

  5. 5
    What's Hidden in a Randomly Weighted Neural Network?随机权重神经网络中隐藏着什么? · 2019 · 就是这篇

    目标论文:随机权重网络里存在不需训练权重就表现很好的子网络,并给出寻找它们的算法。

    读edge-popup 算法如何给边打分并选取;实验中网络宽度与子网络性能的关系。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐csense · 2020-03

“From a practical standpoint, the main citation's is pretty informative:”

推荐它作为实用角度下信息量最大的主要引用
Proving the Lottery Ticket Hypothesis: Pruning is All You Need原评论 ↗
推荐kyllo · 2023-04

“Seems relevant to what you're working on.”

推荐给对方,认为与其正在做的工作相关
Gradients Are Not All You Need原评论 ↗
批评contravariant · 2020-07

“The fact that a dense neural network with 20M parameters performs equally well as a model with 20M random values and 20M _bits_ worth of parameters means nothing more than that the parameter space is ridiculously large.”

On moving from statistics to machine learning, the final stage of grief (2019)原评论 ↗
引用fxtentacle · 2020-02

“As shown in [1] that can lead to randomly initialized networks working well, too,”

引用它说明随机初始化的网络剪枝后也能表现良好
Contrastive Self-Supervised Learning原评论 ↗
引用nil-sec · 2020-03

“What they prove in this paper is the stronger version”

指出这篇论文证明的是更强的版本
Proving the Lottery Ticket Hypothesis: Pruning is All You Need原评论 ↗
引用fxtentacle · 2020-07

“As for the random network, I was referring to What's Hidden in a Randomly Weighted Neural Network? and I have seen similar effects in my own work”

以它说明随机权重网络,并称自己工作里也见过类似效果
On moving from statistics to machine learning, the final stage of grief (2019)原评论 ↗
看全部 7 条 →
引用MereInterest · 2022-07

“They were able to find a subnetwork in a randomly weighted network with equivalent performance to a trained network of a much smaller size.”

概述其发现:随机权重网络里的子网络可媲美更大的训练网络
I should have loved biology原评论 ↗
被提交为 story · 3 次