按年被提到
20222022 · 3 次2026
机器学习与深度学习›优化与可微编程·arXiv:2202.08587 · cs.LG

Gradients without Backpropagation

不用反向传播的梯度
Atılım Güneş Baydin, Barak A. Pearlmutter, Don Syme, Frank Wood, Philip Torr · 2022

仅凭前向模式方向导数构造无偏梯度估计,免去反向传播

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2022-02-18 · 最近 2023-06-07
4不同的人
3活跃月份
4讨论串
44被引(OpenAlex)

反向传播(反向模式微分)是自动微分算法族中的一个特例,该家族还包括前向模式。论文提出仅基于前向模式即可精确高效计算的方向导数来计算梯度的方法,称为前向梯度:它是梯度的无偏估计,只需对函数做一次前向运行即可,完全省掉梯度下降中的反向传播。作者在一系列问题上演示前向梯度下降,在计算上有明显节省,某些情形下训练可快达两倍。

HN 为什么提它

HN 上有人评价它只是又一项想绕开反向传播的工作,结果尚可,但仍远不及标准反向传播这匹主力。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1自动微分(前向模式与反向模式)
2反向传播与梯度下降
3方向导数
4随机梯度估计与方差

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评arugulum · 2023-06

“The results are decent, but it's just another in a long line of work (and more recent work Gradients without Backpropagation [LINK]) trying to use backprop algorithm with some promising results but still falling far short of the standard backprop workhorse.”

MeZO: Fine-Tuning Language Models with Just Forward Passes原评论 ↗
被提交为 story · 3 次