“for instance, I really loved this paper: Interpretability Beyond Feature Attribution”
Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)
用概念激活向量衡量人类可理解概念对分类结果的影响
提出概念激活向量(CAV),用人类友好的概念来解释神经网络的内部状态,并据此提出 TCAV:用方向导数量化某个用户定义的概念(如“条纹”)对分类结果(如“斑马”)的重要程度。以图像分类为测试场景,既用于标准图像分类网络,也用于一个医学应用,帮助提出和检验假设。
评论者推荐它是概念层面可解释性的有趣方法,也有人想知道是否有人真正用过 CAV。
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先看卷积网络可视化和显著图、局部解释、影响函数这些现有的解释方法,再看动机和规范性论述,最后读 TCAV 如何用概念做定量测试。
- 1
- 2
基于梯度的显著图,是 TCAV 所要超越的特征归因方法
读类别得分对输入的梯度与显著图的做法
- 3
LIME 是另一类归因式解释,也是目标论文比较的对象
读局部线性代理模型的思路,以及它只在像素或词层面解释的局限
- 4
从训练样本的角度解释预测,和 TCAV 的概念角度形成对照
读影响函数的直观含义,不必深究推导
- 5
说明解释性在法规上的需求,是 TCAV 的动机背景
读对解释权的讨论,读引言和结论即可
- 6
为可解释性提出了更严格的评价框架,与 TCAV 的定量测试想法相呼应
读可解释性的定义、必要性与评估类别
- 7
TCAV 的实验使用的网络之一是 Inception-v3
读只需了解这个模型的整体结构与各层的位置
- 8Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)
目标论文:用概念激活向量衡量人类可理解概念对分类结果的影响
读CAV 的构造(在某层激活上训练线性分类器)、TCAV 分数的定义和显著性检验
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“There's also a technique from Google called CAVs (Concept Activation Vectors) that I'm intrigued about trying -- would love to hear if anybody has experience using this”
- Google Brain: Concept Activation Vectors ↗bra-ket · 2018-04-11 · 4 分
- Interpretability Beyond Feature Attribution ↗headalgorithm · 2019-02-05 · 1 分