按年被提到
20142015 · 1 次2026
机器学习与深度学习›训练加速与低精度计算·arXiv:1412.7149 · cs.LG

Deep Fried Convnets

深炸卷积网络
Zichao Yang, Marcin Moczulski, Misha Denil, Nando de Freitas, Alex Smola, Le Song, Ziyu Wang · 2014

用 Fastfood 层替换全连接层,大幅压缩卷积网络参数

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2015-06-14 · 最近 2018-02-12发表于 IEEE/CVF International Conference on Computer Vision (ICCV)
3不同的人
4活跃月份
4讨论串
214被引(OpenAlex)

深度卷积网络的全连接层通常占网络参数 90% 以上并消耗大部分存储,在 GPU、嵌入式设备等内存受限环境中,减少参数并保持预测性能至关重要。论文表明可以用核方法,具体是单个 Fastfood 层,替换卷积网络中的全部全连接层。该层可与卷积层一起端到端训练,组成“深炸卷积网络”,在 MNIST 和 ImageNet 上显著减小内存占用而预测性能不下降。

HN 为什么提它

HN 评论者把它当作把随机傅里叶特征等核方法变成神经网络层、把核方法嵌入网络内部的好例子,也有人调侃“deep fried”竟是机器学习术语。

方法难度 4 / 5约 40 分钟有时效性
读之前最好知道
1卷积神经网络
2核方法与随机傅里叶特征
3Fastfood 变换(Hadamard 变换)
4模型压缩

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径围绕卷积网络中全连接层占大部分参数这一事实,先看 dropout 与并行训练的背景,再看另一种模型压缩路线(蒸馏),为读懂用 Fastfood 层替换全连接层做准备。

  1. 1
    Improving neural networks by preventing co-adaptation of feature detectors通过防止特征检测器的共适应来改进神经网络 · 2012

    目标论文所压缩的卷积网络在全连接层使用 dropout,需要了解其作用。

    读dropout 的基本想法:训练时随机丢弃特征检测器、防止共适应。

  2. 2
    One weird trick for parallelizing convolutional neural networks并行化卷积神经网络的一个古怪窍门 · 2014

    该工作指出卷积层与全连接层在计算和参数上的不同分布,全连接层占大量参数。

    读卷积层数据并行与全连接层模型并行的划分,了解全连接层参数量大的背景。

  3. 3
    Distilling the Knowledge in a Neural Network蒸馏神经网络中的知识 · 2015

    同属缩小网络规模的思路,可与目标论文的参数压缩方式对照。

    读把大模型或集成的知识迁移进小模型的做法;对比它与结构替换式压缩的区别。

  4. 4
    Deep Fried Convnets深炸卷积网络 · 2014 · 就是这篇

    目标论文:用单个 Fastfood 层替换卷积网络中的全部全连接层,大幅减少参数。

    读Fastfood 变换如何用结构化矩阵近似全连接层,以及在 ImageNet 上的参数压缩与精度。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐stochastic_monk · 2017-10

“Great work has been done turning powerful tools like Random Fourier Features/Kitchen Sinks into layers in neural networks”

称赞把 Random Fourier Features 这类核方法工具做成神经网络层的工作
The often-overlooked random forest kernel原评论 ↗
引用jhartmann · 2015-06

“I personally am more interested in approaches like Deep Fried Convnets that combine kernel methods as part of the Neural Networks themselves.”

更感兴趣把核方法并入神经网络本身的做法,如 Deep Fried Convnets
What's Wrong with Deep Learning?原评论 ↗
引用curuinor · 2016-10

“Rather hilariously, deep frying is already a term of art in ML, of course in a radically different setting. Deep fried convnets.”

调侃 deep frying 在 ML 里早已是术语,只是场景完全不同
Deep-Fried Data原评论 ↗
引用stochastic_monk · 2018-02

“This reminds me of ACDC, a Deep-fried Convnets-like[0] approach by some NVIDIA employees.”

指出 ACDC 是 NVIDIA 员工做的类似 Deep Fried Convnets 的方法
Lessons from Optics, the Other Deep Learning原评论 ↗