按年被提到
20182018 · 2 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1806.06850 · cs.LG

Polynomial Regression As an Alternative to Neural Nets

多项式回归:神经网络的替代方案
Xi Cheng, Bohdan Khomtchouk, Norman Matloff, Pete Mohanty · 2018

论证神经网络本质上是多项式回归,可用多项式模型替代

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2018-06-21 · 最近 2026-05-08
7不同的人
6活跃月份
7讨论串
71被引(OpenAlex)

论文给出一个简单的解析论证,认为神经网络本质上就是多项式回归模型,并据此解释神经网络为何出现收敛问题、给出避免过拟合的粗略指导,还预测并验证了此前文献未报告的神经网络多重共线性性质。作者进一步主张可以常规地用多项式模型替代神经网络,避免设置大量调参和收敛困难,并在多个实证结果中显示多项式方法的准确率与神经网络持平或更好,同时提供了开源软件包 polyreg。

HN 为什么提它

HN 上的人把它当作“深度学习本质上是多项式回归”这类理论观点的出处,在讨论神经网络的替代方案时引用,也有人质疑其近似(如 tanh 泰勒展开的收敛范围)。

观点难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1多项式回归
2神经网络与激活函数
3过拟合与正则化
4多重共线性(multicollinearity)

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你先看神经网络理论分析中的黑箱、泛化与函数逼近,再读把网络看作多项式回归的论证。

  1. 1

    从函数逼近角度讨论神经网络与有理函数的关系,与把网络视为多项式的观点呼应。

    读网络与有理函数相互逼近的结论。

  2. 2
    Understanding deep learning requires rethinking generalization理解深度学习需要重新思考泛化 · 2016

    说明大网络能拟合随机标签,引出对网络为何泛化的疑问,也是文中动机之一。

    读随机标签实验及其对传统泛化理论的挑战。

  3. 3
    Opening the Black Box of Deep Neural Networks via Information通过信息论打开深度神经网络的黑箱 · 2017

    代表用信息论打开黑箱的尝试,可与多项式视角的解释对比。

    读信息平面与压缩阶段的主张,对比多项式视角的不同解释。

  4. 4
    Polynomial Regression As an Alternative to Neural Nets多项式回归:神经网络的替代方案 · 2018 · 就是这篇

    论证神经网络本质上是多项式回归,并据此解释收敛与过拟合问题。

    读主要论证部分,以及多重共线性的预测与验证。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐tbenst · 2020-10

“there's been some nice theoretical work arguing that deep learning is a form of polynomial regression.”

引它说明有理论工作认为深度学习是多项式回归的一种形式
Why deep learning works even though it shouldn’t原评论 ↗
批评bigbillheck · 2021-05

“tanh is nice and smooth but its Taylor series doesn't converge outside a small region”

Complexity is a source of income in open source ecosystems (2019)原评论 ↗
引用pidtuner · 2020-08

“It has also been hinted that NN are in essence polynomial regressions [0].”

引它说明神经网络本质上就是多项式回归
Differentiable Control Problems原评论 ↗
引用nickpsecurity · 2026-05

“There's also work in polynomial regression as an alternative to regular, neural networks.”

举例说明多项式回归可以替代神经网络
A polynomial autoencoder beats PCA on transformer embeddings原评论 ↗
被提交为 story · 3 次