按年被提到
20162020 · 4 次2026
大模型与语言模型›可解释性与表征研究·arXiv:1606.03490 · cs.LG

The Mythos of Model Interpretability

模型可解释性的迷思
Zachary C. Lipton · 2016

厘清“可解释性”究竟指什么,质疑线性模型天然可解释的说法

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2016-07-19 · 最近 2020-05-04
4不同的人
3活跃月份
4讨论串
5,923被引(OpenAlex)

分析人们追求模型可解释性的各种动机,发现它们多样甚至相互冲突,并指出“对人类透明”与“事后解释”是两种相互竞争的概念。文章逐一讨论各类可解释性的可行性与必要性,并质疑“线性模型可解释、深度神经网络不可解释”这一常见断言。

HN 为什么提它

HN 评论者把它当作梳理“可解释性”与“可解释的 AI”各种含义的分类参考,用来说明这个概念本身含糊且有争议。

观点难度 2 / 5约 40 分钟经得起时间
读之前最好知道
1监督学习基础
2线性模型与深度神经网络
3事后解释方法(post-hoc explanation)

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先建立对神经网络“为什么难解释”的具体例子(对抗样本、显著图)和“解释权”的社会动机,再读这篇对可解释性概念的梳理。

  1. 1

    GDPR 的解释权是推动可解释性需求的现实动机之一,论文要厘清的正是这类诉求。

    读了解法规对自动化决策提出了什么要求,以及它对机器学习提出的挑战。

  2. 2
    Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps深入卷积网络内部:可视化图像分类模型与显著图 · 2013

    显著图是最常见的事后可解释手段,论文讨论这类解释到底说明了什么。

    读理解用类别得分对输入求梯度得到显著图的做法。

  3. 3
    Intriguing properties of neural networks神经网络的有趣性质 · 2013

    对抗样本说明高精度模型可能以人难以理解的方式出错,凸显信任与可解释的需求。

    读抓住微小扰动导致误分类的现象;不必细读实验。

  4. 4
    The Mythos of Model Interpretability模型可解释性的迷思 · 2016 · 就是这篇

    梳理可解释性的多种动机与定义,质疑线性模型天然可解释的说法。

    读关注作者区分的各类动机和对透明性、事后解释两类性质的划分。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐mlthoughts2018 · 2020-01

“is good reading on this.”

推荐阅读,它说明可解释性是个模糊且有争议的概念
Why are we using black box models in AI when we don’t need to? (2019)原评论 ↗
推荐1_over_n · 2020-01

“Some papers i found interesting on the subject:”

把它列为这个话题下觉得有意思的论文
Why are we using black box models in AI when we don’t need to? (2019)原评论 ↗
推荐owenshen24 · 2020-05

“has a really good taxonomy of the different things people refer to when they talk about interpretability and explainability”

称赞它把人们说的可解释性、解释性分类得很清楚
Explainable Deep Learning: A Field Guide for the Uninitiated原评论 ↗
引用mlthoughts2018 · 2020-01

“See for example, “The Mythos of Model Interpretability””

引用它来说明可解释性是个模糊概念
A watershed moment for protein structure prediction原评论 ↗
被提交为 story · 1 次