“There's another neat bit of work involving MNIST.”
Cold Case: The Lost MNIST Digits
重建 MNIST 的来源并找回 5 万个未发布的测试样本
MNIST 源自 NIST 数据库,但具体的处理步骤已随时间失传。论文提出一种足够精确、可替代 MNIST 且精度变化不显著的重建,将每个 MNIST 数字追溯到其 NIST 来源及书写者标识等丰富元数据,并重建出 6 万个样本的完整测试集(常用的只有 1 万个)。利用此前从未发布的另外 5 万个样本,作者检验二十五年 MNIST 实验对测试性能的影响,结果证实了 Recht 等人观察到的趋势:误分类率略有偏差,但分类器排序和模型选择总体上仍然可靠。
HN 评论者把它当作围绕 MNIST 的一项有意思的工作,作为找回失落测试数字后可充当新测试集、模型得分略低的例子来引用。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先了解 ImageNet 基准,再看测试集重复使用与过拟合问题,以及后来的重新采集测试集实验,最后读 MNIST 测试集的重建工作。
- 1
了解 ImageNet 这类标准基准的建立方式,理解为什么数据集的来源和处理细节重要。
读数据集的收集与标注流程,以及 benchmark 的评测设置。
- 2
讨论反复使用同一测试集带来的过拟合风险,是目标论文找回测试样本的动机背景。
读leaderboard 上自适应过拟合的问题,以及 Ladder 机制的基本思想。
- 3
新采集 CIFAR-10 测试集,检验分类器在新样本上的准确率变化。
读重新构造测试集的方法和结果,尤其是准确率下降及其可能原因。
- 4
把同样的新测试集思路用到 ImageNet,与目标论文的重建工作形成呼应。
读新测试集的构造流程,以及模型排名保持不变而绝对准确率下降的发现。
- 5Cold Case: The Lost MNIST Digits
重建 MNIST 的来源并找回未发布的 5 万个测试样本,为测试集复用问题提供新的数据。
读如何把每个 MNIST 数字追溯到 NIST 源数据,以及新测试集上的实验结果。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Some links: [OTHER_PAPER] [OTHER_PAPER] [OTHER_PAPER] [LINK] [LINK] Cold Case”
- Cold Case: The Lost Mnist Digits ↗jonbaer · 2019-06-01 · 1 分