推荐stevesimmons · 2019-05
“read this paper by Laurent Boue:”
推荐读 Laurent Boue 的这篇论文,称任意数据集可由单个参数拟合
借助混沌理论,用一个实数参数以任意精度拟合任何数据集
作者展示任何模态的数据集(时间序列、图像、声音等)都可以用只含一个实数参数的、性质良好(连续、可微)的标量函数来近似。文章基于混沌理论的基本概念,以教学方式说明如何调节这一参数,使其以任意精度拟合数据的所有样本,面向喜欢奇特想法的数据科学家,并拓展了此前关于机器学习模型表达能力与泛化的类似观察。
HN 上的人把它当作有趣但不实用的构造,用来说明只要精度足够高,一个实数参数就能记住整个数据集,从而讨论参数个数与模型表达力并不等价。
候选里与目标论文直接关联的只有关于泛化与表达能力的一篇,用来理解为什么拟合任意数据不等于泛化。
表明大模型能拟合随机标签,目标论文把这种表达能力推到极端:单个参数拟合任意数据。
读随机标签实验和关于传统泛化度量失效的结论。
目标论文:用混沌理论构造单参数函数,以任意精度拟合任意数据集。
读逻辑斯蒂映射的二进制移位性质、如何把数据编码进参数;并留意它对参数个数不能衡量模型复杂度的启示。
“read this paper by Laurent Boue:”
“This is a very interesting idea, even if not really practical.”
“(findings such as Real numbers, data science and chaos notwithstanding)”
“With arbitrary-precision, you can essentially replace the entire neural network with a single trainable parameter. [1]”