“This paper describes an optical implementation to some transforms used in deep learning”
按年被提到
20152016 · 1 次2026
ACDC: A Structured Efficient Linear Layer
ACDC:一种结构化的高效线性层
Marcin Moczulski, Misha Denil, Jeremy Appleyard, Nando de Freitas · 2015
用对角矩阵加离散余弦变换,把线性层降为 O(N) 参数
被提及 · 3 人首次 2016-08-26 · 最近 2019-01-26
3不同的人
3活跃月份
3讨论串
55被引(OpenAlex)
线性层需要 O(N²) 个参数和运算,在移动端或大规模场景下代价过高,这篇论文提出由对角参数矩阵 A、D 和离散余弦变换 C 组成的模块,结构为 ACDC⁻¹,仅需 O(N) 个参数和 O(N log N) 次运算。理论结果表明深层 ACDC 级联可近似线性层,实验中它可与 ReLU 交错用于图像识别的卷积网络,并研究初始化与深度等训练因素,同时指出其与傅里叶光学的联系,原则上可用透镜和衍射元件实现。
HN 为什么提它
评论者提到它是因为论文讨论了深度学习变换的光学实现、可以用模拟方式运行,并能近似任意线性变换。
方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1线性代数与矩阵分解
2离散余弦变换与快速傅里叶变换
3卷积神经网络(CNN)
4傅里叶光学
学习路径
读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先看知识蒸馏这条模型压缩路线,再读用 Fastfood 层压缩全连接层的 Deep Fried Convnets,最后看 ACDC 如何用对角矩阵加 DCT 做结构化线性层。
- 1
- 2
- 3ACDC: A Structured Efficient Linear Layer
用对角矩阵与 DCT 组合出 O(N) 参数的线性层
读看 ACDC 的结构、复杂度分析和关于表达能力的理论结果
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用dharma1 · 2016-08
引用它说明深度学习中的某些变换有光学实现
引用stochastic_monk · 2018-02
“See section 1.1, where they state they could perform the operation in analog.”
指出 1.1 节提到这种运算可以用模拟方式实现
引用bnegreve · 2019-01
“They describe a structured layer that can approximate any linear transform and discuss an optical implementation of it”
介绍它的结构化层能近似任意线性变换,并讨论光学实现