按年被提到
20152016 · 1 次2026
视觉、语音与图像生成›ViT 与视觉新架构·arXiv:1511.05946 · cs.LG

ACDC: A Structured Efficient Linear Layer

ACDC:一种结构化的高效线性层
Marcin Moczulski, Misha Denil, Jeremy Appleyard, Nando de Freitas · 2015

用对角矩阵加离散余弦变换,把线性层降为 O(N) 参数

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2016-08-26 · 最近 2019-01-26
3不同的人
3活跃月份
3讨论串
55被引(OpenAlex)

线性层需要 O(N²) 个参数和运算,在移动端或大规模场景下代价过高,这篇论文提出由对角参数矩阵 A、D 和离散余弦变换 C 组成的模块,结构为 ACDC⁻¹,仅需 O(N) 个参数和 O(N log N) 次运算。理论结果表明深层 ACDC 级联可近似线性层,实验中它可与 ReLU 交错用于图像识别的卷积网络,并研究初始化与深度等训练因素,同时指出其与傅里叶光学的联系,原则上可用透镜和衍射元件实现。

HN 为什么提它

评论者提到它是因为论文讨论了深度学习变换的光学实现、可以用模拟方式运行,并能近似任意线性变换。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1线性代数与矩阵分解
2离散余弦变换与快速傅里叶变换
3卷积神经网络(CNN)
4傅里叶光学

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看知识蒸馏这条模型压缩路线,再读用 Fastfood 层压缩全连接层的 Deep Fried Convnets,最后看 ACDC 如何用对角矩阵加 DCT 做结构化线性层。

  1. 1
    Distilling the Knowledge in a Neural Network蒸馏神经网络中的知识 · 2015

    代表另一类压缩思路,对比结构化线性层的做法

    读理解把集成知识压缩进小模型的目标与软标签损失

  2. 2
    Deep Fried Convnets深炸卷积网络 · 2014

    用 Fastfood 结构化变换替换全连接层,是 ACDC 的直接前驱

    读看结构化线性层如何降低参数量,以及在卷积网络里的替换效果

  3. 3
    ACDC: A Structured Efficient Linear LayerACDC:一种结构化的高效线性层 · 2015 · 就是这篇

    用对角矩阵与 DCT 组合出 O(N) 参数的线性层

    读看 ACDC 的结构、复杂度分析和关于表达能力的理论结果

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用dharma1 · 2016-08

“This paper describes an optical implementation to some transforms used in deep learning”

引用它说明深度学习中的某些变换有光学实现
Optical solutions to NP-Complete problems原评论 ↗
引用stochastic_monk · 2018-02

“See section 1.1, where they state they could perform the operation in analog.”

指出 1.1 节提到这种运算可以用模拟方式实现
Lessons from Optics, the Other Deep Learning原评论 ↗
引用bnegreve · 2019-01

“They describe a structured layer that can approximate any linear transform and discuss an optical implementation of it”

介绍它的结构化层能近似任意线性变换,并讨论光学实现
Dirty lenses (2016)原评论 ↗