“Great work has been done turning powerful tools like Random Fourier Features/Kitchen Sinks into layers in neural networks”
Deep Fried Convnets
用 Fastfood 层替换全连接层,大幅压缩卷积网络参数
深度卷积网络的全连接层通常占网络参数 90% 以上并消耗大部分存储,在 GPU、嵌入式设备等内存受限环境中,减少参数并保持预测性能至关重要。论文表明可以用核方法,具体是单个 Fastfood 层,替换卷积网络中的全部全连接层。该层可与卷积层一起端到端训练,组成“深炸卷积网络”,在 MNIST 和 ImageNet 上显著减小内存占用而预测性能不下降。
HN 评论者把它当作把随机傅里叶特征等核方法变成神经网络层、把核方法嵌入网络内部的好例子,也有人调侃“deep fried”竟是机器学习术语。
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径围绕卷积网络中全连接层占大部分参数这一事实,先看 dropout 与并行训练的背景,再看另一种模型压缩路线(蒸馏),为读懂用 Fastfood 层替换全连接层做准备。
- 1
目标论文所压缩的卷积网络在全连接层使用 dropout,需要了解其作用。
读dropout 的基本想法:训练时随机丢弃特征检测器、防止共适应。
- 2
该工作指出卷积层与全连接层在计算和参数上的不同分布,全连接层占大量参数。
读卷积层数据并行与全连接层模型并行的划分,了解全连接层参数量大的背景。
- 3
同属缩小网络规模的思路,可与目标论文的参数压缩方式对照。
读把大模型或集成的知识迁移进小模型的做法;对比它与结构替换式压缩的区别。
- 4Deep Fried Convnets
目标论文:用单个 Fastfood 层替换卷积网络中的全部全连接层,大幅减少参数。
读Fastfood 变换如何用结构化矩阵近似全连接层,以及在 ImageNet 上的参数压缩与精度。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“I personally am more interested in approaches like Deep Fried Convnets that combine kernel methods as part of the Neural Networks themselves.”
“Rather hilariously, deep frying is already a term of art in ML, of course in a radically different setting. Deep fried convnets.”
“This reminds me of ACDC, a Deep-fried Convnets-like[0] approach by some NVIDIA employees.”