按年被提到
20192019 · 1 次2026
大模型与语言模型›可解释性与表征研究·arXiv:1905.10498 · cs.LG

Cold Case: The Lost MNIST Digits

悬案:失落的 MNIST 数字
Chhavi Yadav, Léon Bottou · 2019

重建 MNIST 的来源并找回 5 万个未发布的测试样本

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2019-06-01 · 最近 2021-12-06
3不同的人
3活跃月份
3讨论串
75被引(OpenAlex)

MNIST 源自 NIST 数据库,但具体的处理步骤已随时间失传。论文提出一种足够精确、可替代 MNIST 且精度变化不显著的重建,将每个 MNIST 数字追溯到其 NIST 来源及书写者标识等丰富元数据,并重建出 6 万个样本的完整测试集(常用的只有 1 万个)。利用此前从未发布的另外 5 万个样本,作者检验二十五年 MNIST 实验对测试性能的影响,结果证实了 Recht 等人观察到的趋势:误分类率略有偏差,但分类器排序和模型选择总体上仍然可靠。

HN 为什么提它

HN 评论者把它当作围绕 MNIST 的一项有意思的工作,作为找回失落测试数字后可充当新测试集、模型得分略低的例子来引用。

实证研究难度 2 / 5约 40 分钟经得起时间
读之前最好知道
1MNIST 与图像分类基准
2测试集过拟合与泛化
3机器学习评测基础

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先了解 ImageNet 基准,再看测试集重复使用与过拟合问题,以及后来的重新采集测试集实验,最后读 MNIST 测试集的重建工作。

  1. 1
    ImageNet Large Scale Visual Recognition ChallengeImageNet 大规模视觉识别挑战 · 2014

    了解 ImageNet 这类标准基准的建立方式,理解为什么数据集的来源和处理细节重要。

    读数据集的收集与标注流程,以及 benchmark 的评测设置。

  2. 2

    讨论反复使用同一测试集带来的过拟合风险,是目标论文找回测试样本的动机背景。

    读leaderboard 上自适应过拟合的问题,以及 Ladder 机制的基本思想。

  3. 3
    Do CIFAR-10 Classifiers Generalize to CIFAR-10?CIFAR-10 分类器能泛化到 CIFAR-10 吗? · 2018

    新采集 CIFAR-10 测试集,检验分类器在新样本上的准确率变化。

    读重新构造测试集的方法和结果,尤其是准确率下降及其可能原因。

  4. 4
    Do ImageNet Classifiers Generalize to ImageNet?ImageNet 分类器能泛化到 ImageNet 吗? · 2019

    把同样的新测试集思路用到 ImageNet,与目标论文的重建工作形成呼应。

    读新测试集的构造流程,以及模型排名保持不变而绝对准确率下降的发现。

  5. 5
    Cold Case: The Lost MNIST Digits悬案:失落的 MNIST 数字 · 2019 · 就是这篇

    重建 MNIST 的来源并找回未发布的 5 万个测试样本,为测试集复用问题提供新的数据。

    读如何把每个 MNIST 数字追溯到 NIST 源数据,以及新测试集上的实验结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐mattkrause · 2021-12

“There's another neat bit of work involving MNIST.”

推荐另一项 MNIST 相关工作:找回丢失的测试数字,模型得分略低
A cartel of influential datasets are dominating machine learning research原评论 ↗
引用gwern · 2020-09

“Some links: [OTHER_PAPER] [OTHER_PAPER] [OTHER_PAPER] [LINK] [LINK] Cold Case”

列出相关链接,其中找回的 MNIST 数字可作为分类器的新测试集
Why neural networks struggle with the Game of Life原评论 ↗
被提交为 story · 1 次