按年被提到
20222022 · 4 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:2206.14486 · cs.LG

Beyond neural scaling laws: beating power law scaling via data pruning

超越神经缩放定律:用数据剪枝打破幂律缩放
Ben Sorscher, Robert Geirhos, Shashank Shekhar, Surya Ganguli, Ari S. Morcos · 2022

好的数据剪枝指标可让误差随数据量下降快于幂律

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2022-07-02 · 最近 2026-03-01
5不同的人
4活跃月份
5讨论串
162被引(OpenAlex)

神经缩放定律中误差随训练集或模型规模按幂律下降,但仅靠扩大规模需要巨大的算力和能耗。论文聚焦误差随数据集规模的缩放,理论上说明:如果有一个能给训练样本排序、决定丢弃顺序的高质量数据剪枝指标,就可以突破幂律缩放,甚至降到指数缩放。随后在 CIFAR-10、SVHN 和 ImageNet 上训练的 ResNet 上实证观察到优于幂律的缩放。作者还在 ImageNet 上首次大规模评测十种剪枝指标,发现多数现有高性能指标扩展性差,最好的则计算昂贵且需要每张图的标签,于是提出一种简单、廉价、可扩展的自监督剪枝指标,表现可与最好的监督指标相当。

HN 为什么提它

HN 评论者把它当作反驳「只能靠堆数据和算力」的证据,用来说明数据剪枝可以用更少数据达到相同性能,挑战 Chinchilla 式的缩放说法。

实证研究难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1神经缩放定律(scaling laws)
2数据集与训练样本难度排序
3ResNet 图像分类
4自监督学习(self-supervised learning)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用cmorez · 2022-07

“or find a scaling law that lets us substitute compute for data[5]”

引它说明数据剪枝可以用算力替代数据
Google fires engineer who called its AI sentient原评论 ↗
引用peaslock · 2022-12

“Not necessarily: Beyond neural scaling laws”

用它反驳,数据剪枝可打破幂律缩放
Copilot Internals原评论 ↗
引用waldarbeiter · 2026-03

“For example [1] received quite some attention in the past.”

举它为曾受关注的例子,数据剪枝能用更少数据达到同样表现
被提交为 story · 2 次