按年被提到
20122014 · 2 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1206.5533 · cs.LG

Practical recommendations for gradient-based training of deep architectures

深度架构梯度训练的实用建议
Yoshua Bengio · 2012

Bengio 总结训练深度网络常用超参数与调试经验的实践指南

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2013-11-15 · 最近 2014-12-30
3不同的人
3活跃月份
3讨论串
2,255被引(OpenAlex)

这是一篇实践指南,针对基于反向传播梯度和梯度优化的学习算法,给出最常用超参数的设置建议,并讨论在需要调节大量超参数时如何处理。全文总结了成功且高效地训练、调试大规模深层多层神经网络的实践要素,最后以深层架构训练困难的开放问题收尾。

HN 为什么提它

评论者把它推荐为了解梯度下降、超参数调节、权重初始化等深度网络训练实务的好入门材料。

教程难度 2 / 5约 60 分钟有时效性
读之前最好知道
1神经网络与反向传播
2随机梯度下降(SGD)
3超参数(学习率、正则化等)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐kkjkok · 2013-11

“Check out this paper:”

推荐这篇训练深度网络的实用指南,含权重初始化
Deep Learning 101原评论 ↗
推荐sabalaba · 2014-12

“It provides a good overview for those that want to learn more about gradient descent, hyperparameter tuning, and other practical considerations involved with training deep architectures.”

推荐它概述梯度下降、超参调节等深度网络训练实践
Deep Learning Reading List原评论 ↗
引用agibsonccc · 2014-05

“[4]: Practical recommendations for gradient-based training of deep architectures [LINK] [LINK]”

作为脚注引用训练技巧的出处
Deep Learning From The Bottom Up原评论 ↗