按年被提到
20192019 · 4 次2026
机器学习与深度学习›贝叶斯方法与 AutoML·arXiv:1904.12320 · cs.LG

Real numbers, data science and chaos: How to fit any dataset with a single parameter

实数、数据科学与混沌:如何用单个参数拟合任意数据集
Laurent Boué · 2019

借助混沌理论,用一个实数参数以任意精度拟合任何数据集

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2019-05-03 · 最近 2023-04-26
8不同的人
5活跃月份
8讨论串
9被引(OpenAlex)

作者展示任何模态的数据集(时间序列、图像、声音等)都可以用只含一个实数参数的、性质良好(连续、可微)的标量函数来近似。文章基于混沌理论的基本概念,以教学方式说明如何调节这一参数,使其以任意精度拟合数据的所有样本,面向喜欢奇特想法的数据科学家,并拓展了此前关于机器学习模型表达能力与泛化的类似观察。

HN 为什么提它

HN 上的人把它当作有趣但不实用的构造,用来说明只要精度足够高,一个实数参数就能记住整个数据集,从而讨论参数个数与模型表达力并不等价。

其他难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1混沌理论与逻辑斯蒂映射(logistic map)
2实数的任意精度表示
3模型容量与过拟合
4函数逼近

学习路径

读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

候选里与目标论文直接关联的只有关于泛化与表达能力的一篇,用来理解为什么拟合任意数据不等于泛化。

  1. 1
    Understanding deep learning requires rethinking generalization理解深度学习需要重新思考泛化 · 2016

    表明大模型能拟合随机标签,目标论文把这种表达能力推到极端:单个参数拟合任意数据。

    读随机标签实验和关于传统泛化度量失效的结论。

  2. 2
    Real numbers, data science and chaos: How to fit any dataset with a single parameter实数、数据科学与混沌:如何用单个参数拟合任意数据集 · 2019 · 就是这篇

    目标论文:用混沌理论构造单参数函数,以任意精度拟合任意数据集。

    读逻辑斯蒂映射的二进制移位性质、如何把数据编码进参数;并留意它对参数个数不能衡量模型复杂度的启示。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐stevesimmons · 2019-05

“read this paper by Laurent Boue:”

推荐读 Laurent Boue 的这篇论文,称任意数据集可由单个参数拟合
Why are 2D vector graphics so much harder than 3D?原评论 ↗
推荐vladoh · 2022-01

“This is a very interesting idea, even if not really practical.”

认为用单个参数拟合数据集很有趣,尽管并不实用
How to fit any dataset with a single parameter原评论 ↗
引用chuckee · 2021-10

“(findings such as Real numbers, data science and chaos notwithstanding)”

引用它所举的发现,说明政治并非一维
At Axel Springer, Politico’s New Owner, Allegations of Sex, Lies, Secret Payment原评论 ↗
引用bmc7505 · 2023-04

“With arbitrary-precision, you can essentially replace the entire neural network with a single trainable parameter. [1]”

拿它说明任意精度下可用单个可训练参数取代整个神经网络
Tighter bounds on the expressivity of transformer encoders原评论 ↗
被提交为 story · 4 次