“People may be interested in this paper and more modern variations: Understanding Black-box Predictions via Influence Functions”
按年被提到
20172017 · 1 次2026
Understanding Black-box Predictions via Influence Functions
通过影响函数理解黑箱预测
Pang Wei Koh, Percy Liang · 2017
用影响函数追溯模型预测最依赖哪些训练样本
被推荐 · 3 人首次 2017-03-20 · 最近 2023-02-05
3不同的人
3活跃月份
3讨论串
1,511被引(OpenAlex)
论文把稳健统计中的经典工具影响函数引入机器学习,沿着学习算法把一次预测追溯回训练数据,找出对该预测贡献最大的训练点。作者给出只需梯度和 Hessian 向量积的高效实现,并表明即使在理论不成立的非凸、不可微模型上,近似的影响函数仍然有用,可用于理解模型行为、调试模型、发现数据集错误,甚至构造肉眼难以察觉的训练集攻击。
HN 为什么提它
HN 评论者把它当作回答模型预测由哪些训练数据决定这一问题的代表工作,并推荐它及后续的现代变体。
方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1稳健统计与影响函数(influence functions)
2Hessian 矩阵与梯度
3凸优化与经验风险最小化
4卷积神经网络
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先看为什么需要解释模型预测,再看基于梯度和局部拟合的解释方法,以及训练数据投毒这一相关应用,最后读影响函数。
- 1
说明解释算法决策的现实需求,是目标论文所处的动机背景。
读解释权相关法规对机器学习模型提出的要求;不需要深入法律细节。
- 2
典型的基于梯度的解释方法:从输入的角度解释预测,目标论文则追溯到训练样本。
读类别得分对输入求梯度得到显著图的做法,对比影响函数追溯训练点的不同角度。
- 3
LIME 是当时最常被引用的事后解释方法,目标论文与之从不同角度回答「为什么这样预测」。
读在预测点附近拟合局部可解释模型的思路,以及它解释的是特征而非训练样本。
- 4
对训练集投毒的攻击研究,目标论文的影响函数可被用来构造训练集攻击。
读如何通过改动训练点来影响模型的决策边界,对应目标论文关于训练集攻击的部分。
- 5Understanding Black-box Predictions via Influence Functions
目标论文:用影响函数追溯预测最依赖哪些训练样本。
读影响函数的定义与 Hessian-vector product 的高效实现,非凸与不可微模型上的近似,以及样本调试、训练集攻击等应用。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐version_five · 2023-02
推荐这篇论文及其更新的变体给感兴趣的人
引用andy99 · 2021-07
“Understanding black box predictions through influence functions,”
列出这篇影响函数论文作为理解黑箱预测的参考
被提交为 story · 1 次
- Understanding Black-Box Machine Learning Predictions via Influence Functions ↗capocannoniere · 2017-03-20 · 1 分