“there's been some nice theoretical work arguing that deep learning is a form of polynomial regression.”
按年被提到
20182018 · 2 次2026
Polynomial Regression As an Alternative to Neural Nets
多项式回归:神经网络的替代方案
Xi Cheng, Bohdan Khomtchouk, Norman Matloff, Pete Mohanty · 2018
论证神经网络本质上是多项式回归,可用多项式模型替代
被推荐 · 7 人首次 2018-06-21 · 最近 2026-05-08
7不同的人
6活跃月份
7讨论串
71被引(OpenAlex)
论文给出一个简单的解析论证,认为神经网络本质上就是多项式回归模型,并据此解释神经网络为何出现收敛问题、给出避免过拟合的粗略指导,还预测并验证了此前文献未报告的神经网络多重共线性性质。作者进一步主张可以常规地用多项式模型替代神经网络,避免设置大量调参和收敛困难,并在多个实证结果中显示多项式方法的准确率与神经网络持平或更好,同时提供了开源软件包 polyreg。
HN 为什么提它
HN 上的人把它当作“深度学习本质上是多项式回归”这类理论观点的出处,在讨论神经网络的替代方案时引用,也有人质疑其近似(如 tanh 泰勒展开的收敛范围)。
观点难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1多项式回归
2神经网络与激活函数
3过拟合与正则化
4多重共线性(multicollinearity)
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你先看神经网络理论分析中的黑箱、泛化与函数逼近,再读把网络看作多项式回归的论证。
- 1
- 2
说明大网络能拟合随机标签,引出对网络为何泛化的疑问,也是文中动机之一。
读随机标签实验及其对传统泛化理论的挑战。
- 3
代表用信息论打开黑箱的尝试,可与多项式视角的解释对比。
读信息平面与压缩阶段的主张,对比多项式视角的不同解释。
- 4Polynomial Regression As an Alternative to Neural Nets
论证神经网络本质上是多项式回归,并据此解释收敛与过拟合问题。
读主要论证部分,以及多重共线性的预测与验证。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐tbenst · 2020-10
引它说明有理论工作认为深度学习是多项式回归的一种形式
批评bigbillheck · 2021-05
“tanh is nice and smooth but its Taylor series doesn't converge outside a small region”
引用pidtuner · 2020-08
“It has also been hinted that NN are in essence polynomial regressions [0].”
引它说明神经网络本质上就是多项式回归
引用nickpsecurity · 2026-05
“There's also work in polynomial regression as an alternative to regular, neural networks.”
举例说明多项式回归可以替代神经网络
被提交为 story · 3 次
- Polynomial Regression as an Alternative to Neural Nets ↗poster123 · 2018-06-21 · 4 分
- Polynomial Regression as an Alternative to Neural Nets ↗Gatsky · 2018-06-24 · 137 分
- NNs are in fact essentially polynomial regression models ↗SiempreViernes · 2019-09-17 · 1 分