“is good reading on this.”
按年被提到
20162020 · 4 次2026
The Mythos of Model Interpretability
模型可解释性的迷思
Zachary C. Lipton · 2016
厘清“可解释性”究竟指什么,质疑线性模型天然可解释的说法
被推荐 · 4 人首次 2016-07-19 · 最近 2020-05-04
4不同的人
3活跃月份
4讨论串
5,923被引(OpenAlex)
分析人们追求模型可解释性的各种动机,发现它们多样甚至相互冲突,并指出“对人类透明”与“事后解释”是两种相互竞争的概念。文章逐一讨论各类可解释性的可行性与必要性,并质疑“线性模型可解释、深度神经网络不可解释”这一常见断言。
HN 为什么提它
HN 评论者把它当作梳理“可解释性”与“可解释的 AI”各种含义的分类参考,用来说明这个概念本身含糊且有争议。
观点难度 2 / 5约 40 分钟经得起时间
读之前最好知道
1监督学习基础
2线性模型与深度神经网络
3事后解释方法(post-hoc explanation)
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先建立对神经网络“为什么难解释”的具体例子(对抗样本、显著图)和“解释权”的社会动机,再读这篇对可解释性概念的梳理。
- 1
GDPR 的解释权是推动可解释性需求的现实动机之一,论文要厘清的正是这类诉求。
读了解法规对自动化决策提出了什么要求,以及它对机器学习提出的挑战。
- 2
显著图是最常见的事后可解释手段,论文讨论这类解释到底说明了什么。
读理解用类别得分对输入求梯度得到显著图的做法。
- 3
对抗样本说明高精度模型可能以人难以理解的方式出错,凸显信任与可解释的需求。
读抓住微小扰动导致误分类的现象;不必细读实验。
- 4The Mythos of Model Interpretability
梳理可解释性的多种动机与定义,质疑线性模型天然可解释的说法。
读关注作者区分的各类动机和对透明性、事后解释两类性质的划分。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐mlthoughts2018 · 2020-01
推荐阅读,它说明可解释性是个模糊且有争议的概念
推荐1_over_n · 2020-01
“Some papers i found interesting on the subject:”
把它列为这个话题下觉得有意思的论文
推荐owenshen24 · 2020-05
“has a really good taxonomy of the different things people refer to when they talk about interpretability and explainability”
称赞它把人们说的可解释性、解释性分类得很清楚
引用mlthoughts2018 · 2020-01
“See for example, “The Mythos of Model Interpretability””
引用它来说明可解释性是个模糊概念
被提交为 story · 1 次
- The Mythos of Model Interpretability ↗jboynyc · 2016-07-19 · 56 分