引用cmorez · 2022-07
“or find a scaling law that lets us substitute compute for data[5]”
引它说明数据剪枝可以用算力替代数据
好的数据剪枝指标可让误差随数据量下降快于幂律
神经缩放定律中误差随训练集或模型规模按幂律下降,但仅靠扩大规模需要巨大的算力和能耗。论文聚焦误差随数据集规模的缩放,理论上说明:如果有一个能给训练样本排序、决定丢弃顺序的高质量数据剪枝指标,就可以突破幂律缩放,甚至降到指数缩放。随后在 CIFAR-10、SVHN 和 ImageNet 上训练的 ResNet 上实证观察到优于幂律的缩放。作者还在 ImageNet 上首次大规模评测十种剪枝指标,发现多数现有高性能指标扩展性差,最好的则计算昂贵且需要每张图的标签,于是提出一种简单、廉价、可扩展的自监督剪枝指标,表现可与最好的监督指标相当。
HN 评论者把它当作反驳「只能靠堆数据和算力」的证据,用来说明数据剪枝可以用更少数据达到相同性能,挑战 Chinchilla 式的缩放说法。
“or find a scaling law that lets us substitute compute for data[5]”
“Not necessarily: Beyond neural scaling laws”
“For example [1] received quite some attention in the past.”