“Here is the paper.”
Underspecification Presents Challenges for Credibility in Modern Machine Learning
指出欠规范性使模型训练域表现相同、部署后行为却迥异
论文指出欠规范性(underspecification)是机器学习模型在真实部署中表现意外变差的关键原因:若一个 ML 流水线能返回许多在训练域留出集上表现同样出色的预测器,它就是欠规范的,这在深度学习流水线中很常见。这些预测器在训练域看似等价,在部署域却可能行为迥异,造成不稳定,且不同于训练与部署域结构不匹配的已知问题;作者用计算机视觉、医学影像、NLP、基于电子病历的临床风险预测和医学基因组学等多个实例展示了这一问题,并指出面向真实部署的建模流程需要明确考虑欠规范性。
HN 上的人引用它说明现代机器学习模型即便在测试集上表现良好,部署后也可能因欠规范性而脆弱、不稳定。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我理解深度模型会学到捷径、训练分布内表现相同的模型在部署时行为迥异,以及分布外泛化的不同视角,这些是欠规范性论证的背景。
- 1
目标论文的 NLP 实验使用预训练 BERT,需要了解其微调流程。
读预训练加微调的流程;不同随机种子微调结果的差异。
- 2
CNN 偏向纹理的发现,是训练分布内表现好、部署时脆弱的典型例子。
读纹理偏好与形状偏好的对比实验。
- 3
说明 NLI 模型靠句法启发式答对,是同类的捷径现象。
读HANS 评测集的设计,以及模型在其上失败的原因。
- 4
- 5
- 6Underspecification Presents Challenges for Credibility in Modern Machine Learning
目标论文:用欠规范性解释部署时的失败。
读欠规范性的定义,以及同一管线不同随机种子的预测器在训练域外的差异。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“You've probably seen it, but a more recent, related paper (that I think has some of the same authors) about inherent features of modern ML that make models so fragile, even if they test OK:”
“I wished more parameters gave a generalizable solution, but research suggests”
- On generalization problems of ML models in real-world applications ↗sean_pedersen · 2020-11-09 · 1 分
- Underspecification Presents Challenges for Credibility in Machine Learning ↗natviv21 · 2020-11-14 · 3 分
- Underspecification Presents Challenges for Credibility in Modern MachineLearning ↗henrik_w · 2020-11-16 · 3 分
- Underspecification Presents Challenges for Credibility in Machine Learning ↗ksec · 2020-11-19 · 3 分
- Underspecification Presents Challenge for Credibility in Modern Machine Learning ↗headalgorithm · 2020-11-21 · 3 分
- Underspecification Presents Challenges for Credibility in ML ↗sarosh · 2020-12-01 · 2 分