按年被提到
20172019 · 2 次2026
大模型与语言模型›可解释性与表征研究·arXiv:1711.11279 · stat.ML

Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)

超越特征归因的可解释性:用概念激活向量做定量测试(TCAV)
Been Kim, Martin Wattenberg, Justin Gilmer, Carrie Cai, James Wexler, Fernanda Viegas, Rory Sayres · 2017

用概念激活向量衡量人类可理解概念对分类结果的影响

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2018-04-11 · 最近 2023-03-08
4不同的人
4活跃月份
4讨论串
1,238被引(OpenAlex)

提出概念激活向量(CAV),用人类友好的概念来解释神经网络的内部状态,并据此提出 TCAV:用方向导数量化某个用户定义的概念(如“条纹”)对分类结果(如“斑马”)的重要程度。以图像分类为测试场景,既用于标准图像分类网络,也用于一个医学应用,帮助提出和检验假设。

HN 为什么提它

评论者推荐它是概念层面可解释性的有趣方法,也有人想知道是否有人真正用过 CAV。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1深度神经网络的内部表示
2方向导数(directional derivative)
3线性分类器
4特征归因与显著性图(saliency map)

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看卷积网络可视化和显著图、局部解释、影响函数这些现有的解释方法,再看动机和规范性论述,最后读 TCAV 如何用概念做定量测试。

  1. 1
    Visualizing and Understanding Convolutional Networks卷积网络的可视化与理解 · 2013

    较早的卷积网络内部可视化,说明为什么需要理解网络的中间层

    读反卷积式可视化与各层学到的特征

  2. 2
    Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps深入卷积网络内部:可视化图像分类模型与显著图 · 2013

    基于梯度的显著图,是 TCAV 所要超越的特征归因方法

    读类别得分对输入的梯度与显著图的做法

  3. 3
    "Why Should I Trust You?": Explaining the Predictions of Any Classifier「我为什么该相信你?」:解释任意分类器的预测(LIME) · 2016

    LIME 是另一类归因式解释,也是目标论文比较的对象

    读局部线性代理模型的思路,以及它只在像素或词层面解释的局限

  4. 4
    Understanding Black-box Predictions via Influence Functions通过影响函数理解黑箱预测 · 2017

    从训练样本的角度解释预测,和 TCAV 的概念角度形成对照

    读影响函数的直观含义,不必深究推导

  5. 5

    说明解释性在法规上的需求,是 TCAV 的动机背景

    读对解释权的讨论,读引言和结论即可

  6. 6

    为可解释性提出了更严格的评价框架,与 TCAV 的定量测试想法相呼应

    读可解释性的定义、必要性与评估类别

  7. 7
    Rethinking the Inception Architecture for Computer Vision重新思考计算机视觉中的 Inception 架构 · 2015

    TCAV 的实验使用的网络之一是 Inception-v3

    读只需了解这个模型的整体结构与各层的位置

  8. 8
    Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)超越特征归因的可解释性:用概念激活向量做定量测试(TCAV) · 2017 · 就是这篇

    目标论文:用概念激活向量衡量人类可理解概念对分类结果的影响

    读CAV 的构造(在某层激活上训练线性分类器)、TCAV 分数的定义和显著性检验

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐irhshafkat · 2019-01

“for instance, I really loved this paper: Interpretability Beyond Feature Attribution”

推荐这篇论文,说自己非常喜欢
Inverting facial recognition models原评论 ↗
引用genmon · 2023-03

“There's also a technique from Google called CAVs (Concept Activation Vectors) that I'm intrigued about trying -- would love to hear if anybody has experience using this”

提到 Google 的 CAV 技术,想听听有没有人用过
Show HN: BBC “In Our Time”, categorised by Dewey Decimal, heavy lifting by GPT原评论 ↗
被提交为 story · 2 次