按年被提到
20142017 · 2 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:1412.6980 · cs.LG

Adam: A Method for Stochastic Optimization

Adam:一种随机优化方法
Diederik P. Kingma, Jimmy Ba · 2014

基于自适应矩估计的一阶随机优化算法 Adam

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 8 人首次 2015-10-13 · 最近 2025-10-18
8不同的人
8活跃月份
8讨论串
45,739被引(OpenAlex)

论文提出 Adam,一种基于低阶矩自适应估计的一阶随机梯度优化算法,实现简单、计算高效、内存占用小,对梯度的对角缩放不变,适合大规模数据和参数,也适用于非平稳目标以及含噪声、稀疏的梯度。作者在在线凸优化框架下给出了遗憾界,实验显示其效果优于其他随机优化方法,并讨论了基于无穷范数的变体 AdaMax。

HN 为什么提它

评论者多把它当作史上被引最多的 AI 论文之一和默认优化器的出处,并提到它无需经过期刊发表就获得了巨大关注,也有人说它可读性好但收敛性证明较复杂。

奠基之作难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1随机梯度下降(SGD)
2梯度与矩估计(moment estimation)
3凸优化基础
4神经网络训练基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用brandonb · 2017-01

“optimizers like ADAM have explicit guarantees about things like convergence.”

以 Adam 为例,说明这类优化器对收敛有明确保证
A New Batch of Deep Learning Startups to Watch for in 2017原评论 ↗
引用aqsalose · 2017-10

“appears to be a well-written introduction to stuff variational autoencoders [2] and ADAM [3].”

称相关材料把 VAE 和 ADAM 介绍得不错
Variational Inference and Deep Learning: A New Synthesis [pdf]原评论 ↗
引用lostmsu · 2023-02

“Adam the optimization algo you might need (and even there I am not sure). And it is very readable.”

认为 Adam 才是可能需要的优化算法,而且非常好读
Exclusive Q&A John Carmack’s ‘Different Path’ to Artificial General Intelligence原评论 ↗
引用GistNoesis · 2024-05

“are the authors of the Adam Paper, Adam”

提到 Adam 论文的作者
xLSTM: Extended Long Short-Term Memory原评论 ↗
引用modeless · 2024-10

“Kingma is most notable for writing one of the most cited papers in AI.”

指出 Kingma 以写出 AI 领域被引最多的论文之一而闻名
Anthropic hires OpenAI co-founder Durk Kingma原评论 ↗
引用cherryteastain · 2025-03

“Something not being published in a journal/conference proceedings clearly does not prevent it from drawing tons of research attention, as we saw in numerous cases like the Adam optimizer [1].”

以 Adam 为例,说明未发表于期刊或会议的工作也能引来大量研究关注
The PhD Metagame: Don't try to reform science – not yet原评论 ↗
看全部 7 条 →
引用brosco · 2025-10

“developed Adam [0] well before it was flashy and profitable.”

称其在 Adam 走红、赚钱之前就已提出
Researchers Discover the Optimal Way to Optimize原评论 ↗
被提交为 story · 1 次