按年被提到
20142014 · 3 次2026
机器学习与深度学习›神经网络架构探索·arXiv:1404.7828 · cs.NE

Deep Learning in Neural Networks: An Overview

神经网络中的深度学习:综述
Juergen Schmidhuber · 2014

Schmidhuber 对深度学习及其前史的长篇历史综述

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 12 人首次 2014-05-02 · 最近 2024-09-26
12不同的人
11活跃月份
12讨论串
18,665被引(OpenAlex)

这篇历史性综述简明地总结了深度神经网络(包括循环网络)在模式识别和机器学习中的相关工作,其中许多出自上个千年。作者以信用分配路径(credit assignment path)的深度区分浅层与深层学习器,并回顾深度监督学习(含反向传播的历史)、无监督学习、强化学习与进化计算,以及对编码大型深度网络的短程序的间接搜索。

HN 为什么提它

HN 上的人把它当作深度学习历史和文献的全景式参考,称它是篇幅很长的首选综述,引用很全,不过也有人提到它源于对前人贡献被忽略的不满。

综述难度 3 / 5约 300 分钟有时效性
读之前最好知道
1神经网络与反向传播
2监督、无监督与强化学习的基本概念
3循环神经网络(RNN)与 LSTM
4信用分配问题(credit assignment)

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径选取综述中提到的几项近期代表性成果:无监督特征学习、dropout、卷积网络可视化、深度强化学习,帮助把历史综述与当时的实证进展对上号。

  1. 1
    Building high-level features using large scale unsupervised learning用大规模无监督学习构建高层特征 · 2011

    大规模无监督学习让网络自发学出高层特征,对应综述中无监督深度学习的部分。

    读抓网络结构与学出人脸检测器的实验结果。

  2. 2
    Improving neural networks by preventing co-adaptation of feature detectors通过防止特征检测器的共适应来改进神经网络 · 2012

    dropout 是综述所述正则化的重要进展。

    读抓随机丢弃一半特征检测器的做法及其效果。

  3. 3
    Visualizing and Understanding Convolutional Networks卷积网络的可视化与理解 · 2013

    可视化卷积网络各层学到的特征,帮助理解综述中的深度监督学习。

    读抓反卷积式可视化展示逐层特征的结果。

  4. 4
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    深度强化学习的代表工作,对应综述中强化学习部分。

    读抓 Q 学习与卷积网络结合、经验回放的做法。

  5. 5

    同一作者的通用问题求解器思路,对应综述中关于通用学习与间接搜索的论述。

    读抓不断寻找最简单的未解问题这一想法;细节略读。

  6. 6
    Deep Learning in Neural Networks: An Overview神经网络中的深度学习:综述 · 2014 · 就是这篇

    Schmidhuber 对深度学习及其前史的长篇历史综述。

    读抓信用分配路径深度的概念、反向传播的历史与各类学习范式的脉络。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐Houshalter · 2014-12

“There are some survey papers like this: Deep Learning in Neural Networks”

推荐这篇综述,总结深度学习研究现状
Unsupervised Feature Learning and Deep Learning Recommended Readings原评论 ↗
推荐jabl · 2016-09

“the above was recommended by deeplearning.net and is what I'm slogging through ATM.”

推荐这篇 deeplearning.net 荐读的综述,自己正在啃,数学不重易读
Artificial Intelligence Software Is Booming, But Why Now?原评论 ↗
推荐cosmoharrigan · 2017-01

“For more details, refer to Schmidhuber's own website: [LINK] and his excellent review paper”

推荐 Schmidhuber 的这篇出色综述,了解深度学习历史与方法
AI Pioneer Wants to Build the Renaissance Machine of the Future原评论 ↗
推荐iluvmylife · 2017-09

“here is an excellent historical survey paper:”

推荐它作为讲述深度学习历史的出色综述
Coding the History of Deep Learning原评论 ↗
推荐mjn · 2019-10

“this other one's the go-to article (though it's much longer): Deep Learning in Neural Networks”

推荐它是首选文章,虽然更长,但追溯了大量前人工作
Deep Learning: Our Miraculous Year 1990-1991原评论 ↗
引用jcr · 2014-12

“there are quite a few lists out there if you look.”

把它当作神经网络综述,列为几份机器学习阅读清单之一
Technical Papers Every Programmer Should Read at Least Twice (2011)原评论 ↗
看全部 10 条 →
引用speechduh · 2015-06

“He wrote an enormous literature review of deep learning [0] basically because he felt that people weren't crediting ideas enough.”

提到 Schmidhuber 写这篇长篇综述,是因为觉得别人没有充分归功前人思想
Critique of Paper by “Deep Learning Conspiracy”原评论 ↗
引用YorkshireSeason · 2018-07

“For a history of the subject, see Section 5.1 of [2].”

指引看第 5.1 节了解神经网络史,其中部分内容有争议
Ernst Dickmanns, a German scientist who developed self-driving cars in the 1980s原评论 ↗
引用albertzeyer · 2023-11

“I think Schmidhuber introduced that definition many years ago, Deep Learning in Neural Networks”

认为 Schmidhuber 多年前就在这篇综述里给出了“很深”的定义
Show HN: Tiny LLMs – Browser-based private AI models for a wide array of tasks原评论 ↗
引用jll29 · 2024-09

“Conveniently skim-read over the course of the four weekends on one month.”

称这篇综述可在一个月的四个周末里轻松略读完
OpenAI to become for-profit company原评论 ↗
被提交为 story · 2 次