按年被提到
20182019 · 2 次2026
机器学习与深度学习›机器学习实践与反思·arXiv:1807.03341 · stat.ML

Troubling Trends in Machine Learning Scholarship

机器学习学术中令人担忧的趋势
Zachary C. Lipton, Jacob Steinhardt · 2018

批评 ML 论文的四类问题:猜测当解释、归因不清、数学堆砌、滥用术语

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2018-07-14 · 最近 2025-03-13
6不同的人
6活跃月份
6讨论串
274被引(OpenAlex)

指出机器学习学术中的四种趋势:(i) 不区分解释与猜测;(ii) 不去识别经验提升的来源,例如收益其实来自超参数调优却强调不必要的结构改动;(iii) mathiness,即用数学来迷惑或装点而非阐明;(iv) 滥用语言,如选用带日常含义的术语或重载已有术语。作者推测原因包括社区快速扩张、审稿人池变薄、学术激励与短期指标错位,并给出一些尝试性的改进建议。

HN 为什么提它

评论者引用它批评 ML 论文质量,并用来说明 CS 研究和其他领域一样不可靠,以及 mathiness(第 3.3 节)这一问题只增不减。

观点难度 2 / 5约 30 分钟经得起时间
读之前最好知道
1机器学习研究的基本流程
2经验研究与消融实验(ablation)
3同行评审机制
4超参数调优

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径用几个具体的例子(批归一化、可解释性、强化学习评测、解释权)为目标论文的批评提供背景,再读它的总结。

  1. 1
    Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift批归一化:通过减少内部协变量偏移加速深度网络训练 · 2015

    目标论文把「内部协变量偏移」作为猜测被当作解释的典型例子。

    读原文中对 internal covariate shift 的解释方式;读目标论文时对照「猜测未经验证」的批评。

  2. 2
    How Does Batch Normalization Help Optimization?Batch Normalization 如何帮助优化? · 2018

    它用实验表明批归一化有效的原因并不是原先所说的那样,是上一篇的后续检验。

    读主要实验:BN 并没有减少内部协变量偏移,而是平滑了优化地形。

  3. 3
    The Mythos of Model Interpretability模型可解释性的迷思 · 2016

    目标论文批评术语滥用,「可解释性」是其中重点例子。

    读作者对可解释性不同含义的分类;对应目标论文关于术语含糊的论述。

  4. 4

    目标论文引用它说明「解释权」等术语在政策讨论中的含糊使用。

    读文中对 GDPR 与算法决策的讨论,思考与目标论文批评的关联。

  5. 5
    Deep Reinforcement Learning that Matters真正重要的深度强化学习 · 2017

    它是关于评测严谨性与可复现性的实证研究,与目标论文关心的经验严谨性同方向。

    读不同实现与超参数对深度 RL 结果的影响,以及作者的报告建议。

  6. 6
    Troubling Trends in Machine Learning Scholarship机器学习学术中令人担忧的趋势 · 2018 · 就是这篇

    目标论文:总结机器学习学术中的四类问题。

    读四类问题(解释与猜测不分、归因不清、数学堆砌、滥用术语)的定义与例子,再看文末建议。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐bonoboTP · 2020-10

“You may like the article”

推荐这篇批评 ML 学术趋势的文章
AI Is an Ideology, Not a Technology原评论 ↗
引用joshvm · 2019-09

“See Troubling Trends in Machine Learning Scholarship”

引它说明 ML 学术存在无据论断、分析薄弱、语言混乱
A.I. researchers are making more than $1M, even at a nonprofit原评论 ↗
引用thatguysaguy · 2024-09

“very bad in CS as well. See e.g.: Troubling Trends in Machine Learning Scholarship”

引它说明 CS 研究同样不可靠
Why Most Published Research Findings Are False (2005)原评论 ↗
引用nybsjytm · 2025-03

“There's a related section about 'mathiness' in section 3.3 of the article”

指出其 3.3 节讲的 mathiness 问题后来更严重了
The cultural divide between mathematics and AI原评论 ↗
被提交为 story · 2 次