“You may like the article”
Troubling Trends in Machine Learning Scholarship
批评 ML 论文的四类问题:猜测当解释、归因不清、数学堆砌、滥用术语
指出机器学习学术中的四种趋势:(i) 不区分解释与猜测;(ii) 不去识别经验提升的来源,例如收益其实来自超参数调优却强调不必要的结构改动;(iii) mathiness,即用数学来迷惑或装点而非阐明;(iv) 滥用语言,如选用带日常含义的术语或重载已有术语。作者推测原因包括社区快速扩张、审稿人池变薄、学术激励与短期指标错位,并给出一些尝试性的改进建议。
评论者引用它批评 ML 论文质量,并用来说明 CS 研究和其他领域一样不可靠,以及 mathiness(第 3.3 节)这一问题只增不减。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径用几个具体的例子(批归一化、可解释性、强化学习评测、解释权)为目标论文的批评提供背景,再读它的总结。
- 1
目标论文把「内部协变量偏移」作为猜测被当作解释的典型例子。
读原文中对 internal covariate shift 的解释方式;读目标论文时对照「猜测未经验证」的批评。
- 2
它用实验表明批归一化有效的原因并不是原先所说的那样,是上一篇的后续检验。
读主要实验:BN 并没有减少内部协变量偏移,而是平滑了优化地形。
- 3
- 4
目标论文引用它说明「解释权」等术语在政策讨论中的含糊使用。
读文中对 GDPR 与算法决策的讨论,思考与目标论文批评的关联。
- 5
它是关于评测严谨性与可复现性的实证研究,与目标论文关心的经验严谨性同方向。
读不同实现与超参数对深度 RL 结果的影响,以及作者的报告建议。
- 6Troubling Trends in Machine Learning Scholarship
目标论文:总结机器学习学术中的四类问题。
读四类问题(解释与猜测不分、归因不清、数学堆砌、滥用术语)的定义与例子,再看文末建议。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“See Troubling Trends in Machine Learning Scholarship”
“very bad in CS as well. See e.g.: Troubling Trends in Machine Learning Scholarship”
“There's a related section about 'mathiness' in section 3.3 of the article”
- Troubling Trends in Machine Learning Scholarship ↗ereli1 · 2018-07-14 · 1 分
- Troubling trends in machine learning scholarship (2018) ↗scottlocklin · 2019-11-30 · 197 分