按年被提到
20132014 · 6 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:1312.6184 · cs.LG

Do Deep Nets Really Need to be Deep?

深度网络真的需要很深吗?
Lei Jimmy Ba, Rich Caruana · 2013

浅层前馈网络可以学会深层网络的复杂函数,达到相近精度

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 7 人首次 2014-01-03 · 最近 2015-01-15
7不同的人
5活跃月份
6讨论串
1,531被引(OpenAlex)

这篇扩展摘要表明,浅层前馈网络能学会此前由深度网络学到的复杂函数,并达到此前只有深度模型才能达到的精度,有些情况下总参数量也与原深度模型相近。作者在 TIMIT 音素识别任务上训练出浅层全连接网络,表现与精心设计的深度卷积结构相近,并据此推测很可能存在比现有方法更好的浅层网络训练算法。

HN 为什么提它

评论者用它说明浅层网络可以模仿深层网络(类似知识压缩),也有人据此认为深层网络只是更容易训练出最优解。

实证研究难度 3 / 5约 15 分钟经得起时间
读之前最好知道
1前馈神经网络(feed-forward network)
2模型压缩与知识蒸馏(distillation)
3语音识别基础(TIMIT)
4卷积神经网络

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用kastnerkyle · 2014-08

“has tried something similar to [Do Deep Networks Need to Be Deep?] for ImageNet scale networks.”

提到有人对 ImageNet 规模的网络做过类似尝试
IBM Chip Processes Data Similar to the Way Your Brain Does原评论 ↗
引用robrenaud · 2014-09

“From that paper, it seems like it's just that deep nets are easier to train to find state of the art solutions than shallow nets.”

从论文读到的结论:深层网络只是更容易训练出最先进的解
A Revolutionary Technique That Changed Machine Vision原评论 ↗
引用Sniffnoy · 2014-10

“it's better to link to the abstract rather than directly to the PDF.”

提醒链接 arXiv 时最好指向摘要页而不是直接指向 PDF
Do Deep Nets Really Need to be Deep? [pdf]原评论 ↗
引用nharada · 2015-01

“a recent paper showed that a simpler shallow net can perform as well as a deep net if a deep net is trained first[1].”

引用它说明先训练深层网络后,简单浅层网络也能达到同样表现
A Brief Overview of Deep Learning原评论 ↗
被提交为 story · 3 次