“he has a decidely different perspective that I think is a lot more grounded and reasoned:”
Deep Learning: A Critical Appraisal
Gary Marcus 列出深度学习的十点局限,主张需配合其他技术
作者回顾深度学习自 2012 年 ImageNet 模型以来的进展,在承认语音识别、图像识别和游戏等领域进步的同时,提出对深度学习的十点担忧,并主张要走向通用人工智能,深度学习必须与其他技术互补。
HN 上的人把它作为深度学习局限性的代表性批评来引用,称其视角偏认知科学;也有人批评它概念混淆、论点陈旧,质量很差。
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先建立深度学习的整体图景和历史,再看它被批评的几个方面:对抗样本、被愚弄的网络、数据依赖、常识与类人学习、评测可复现性。
- 1
给出深度学习的历史与整体背景,便于判断 Marcus 批评的是哪一类方法。
读略读,抓住深度学习的发展脉络与主要成果。
- 2
- 3
- 4
展示网络对无法辨认的图像也给出高置信预测,对应文中深度网络并不真正理解的论点。
读进化算法生成的欺骗图像和高置信度结论。
- 5
把对抗思想用到阅读理解上,说明系统对表面特征的依赖,支持文中关于泛化的批评。
读加入干扰句后模型表现骤降的实验结论。
- 6
认知科学视角下对类人学习的要求(因果、直觉理论、组合性),与文中提出的需要其他技术相呼应。
读核心主张:因果模型、直觉物理与心理、组合性、学会学习。
- 7
- 8Deep Learning: A Critical Appraisal
目标论文:列出深度学习的十点局限,主张需配合其他技术。
读十点局限逐条与前面论文的对应;结尾关于混合方法的建议。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“For a rather complete view of what deep learning still does not do, I recommend the work of Gary Marcus and Ernest Davis.”
“In short, it is bad, very bad as a scientific piece.”
“For more perspective: Deep Learning”
“Gary Marcus at NYU has addressed the present limits of DL in terms of cognition in several papers and talks:”
“But the paper isn't wrong either:”
- Deep Learning: A Critical Appraisal ↗runesoerensen · 2018-01-03 · 5 分
- Deep Learning: A Critical Appraisal [pdf] ↗redshirt · 2018-01-04 · 4 分
- Deep learning: a critical appraisal [pdf] ↗hyperbovine · 2018-01-05 · 4 分
- Deep Learning: A Critical Appraisal by Gary Marcus ↗TY · 2018-01-05 · 3 分
- Deep Learning: A Critical Appraisal ↗denzil_correa · 2018-01-08 · 3 分
- Deep Learning, a critical appraisal ↗triplesec · 2018-01-12 · 2 分