按年被提到
20222023 · 5 次2026
机器学习与深度学习›优化与可微编程·arXiv:2212.13345 · cs.LG

The Forward-Forward Algorithm: Some Preliminary Investigations

前向-前向算法:初步探索
Geoffrey Hinton · 2022

用两次前向传播取代反向传播,每层以“好度”为目标训练网络。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 7 人首次 2023-01-04 · 最近 2025-01-30
7不同的人
6活跃月份
8讨论串
236被引(OpenAlex)

Hinton 提出一种新的神经网络学习方法,用两次前向传播取代反向传播的前向和后向传播:一次输入真实(正)数据,一次输入负数据(可由网络自己生成)。每一层有自己的目标:对正数据有高“好度”(goodness),对负数据有低好度,好度可以是该层激活的平方和。论文说明它在几个小问题上效果足够好,值得进一步研究;若正负传播能在时间上分开,视频可以流水线式通过网络而无需存储激活或停下来反传梯度。

HN 为什么提它

评论者多把它当作 Hinton 在反向传播之外探索的替代学习范式:提到它可能更接近大脑的学习方式,可能用于 LoRA 式的附加层,以及与硬件绑定的“mortal computation”的联系。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1神经网络基础
2反向传播(backpropagation)
3正负样本与对比学习思想
4逐层目标函数

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用cschmid · 2023-01

“The arxiv has a more recent one: The Forward-Forward Algorithm”

指出 arXiv 上有更新的版本,而非较早的草稿
Deep Learning Pioneer Geoffrey Hinton Publishes New Deep Learning Algorithm原评论 ↗
引用born-jre · 2023-06

“i wonder if its possible to do similar with "The Forward-Forward Algorithm" by Geoff Hilton maybe on a few add on layers like with lora”

想知道能否像 LoRA 那样,用 Hinton 的 Forward-Forward 训练少量附加层
MeZO: Fine-Tuning Language Models with Just Forward Passes原评论 ↗
引用pksebben · 2023-06

“If Hinton really, genuinely believes the world is ending, then why is he working on the generational successor to backpropagation [1]?”

质疑 Hinton 若真认为世界将终结,为何还在研究反向传播的继任者 Forward-Forward
Geoffrey Hinton: “We're toast. This is the actual end of history”原评论 ↗
引用pksebben · 2024-04

“that would have overcome this (if it worked) before he decided humanity couldn't be trusted”

设想若 Forward-Forward 行得通,本可在 Hinton 认定人类不可信之前解决这个问题
Storm: LLM system that researches a topic and generates full-length wiki article原评论 ↗
引用robertsdionne · 2024-07

“The Forward-Forward Algorithm: Some Preliminary Investigations The Forward-Forward Algorithm”

贴出它,指出 forward-forward 训练会把模型绑定到特定硬件,即 mortal computation
Training of Physical Neural Networks原评论 ↗
引用ewheeler · 2025-01

“Hinton has some research on a forward-forward learning paradigm [1], which might be closer to how our brains learn (but the artificial implementations are not great yet).”

提到 Hinton 的 forward-forward 学习范式,可能更接近大脑,但实现还不理想
Antiqua et Nova: Note on the relationship between AI and human intelligence原评论 ↗
被提交为 story · 2 次