按年被提到
20182020 · 2 次2026
机器学习与深度学习›机器学习实践与反思·arXiv:1811.10154 · stat.ML

Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead

别再解释黑箱机器学习模型,在高风险决策中改用可解释模型
Cynthia Rudin · 2018

主张高风险决策应直接使用固有可解释模型,而非事后解释黑箱

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2019-10-31 · 最近 2024-04-04
7不同的人
6活跃月份
6讨论串
11,337被引(OpenAlex)

论文指出,黑箱机器学习模型正被用于医疗、刑事司法等高风险决策并引发问题,而试图“解释”黑箱而非从一开始就构建可解释模型,很可能延续不良做法并带来灾难性后果。作者主张设计固有可解释的模型,澄清了解释黑箱与使用可解释模型之间的鸿沟,列出在高风险决策中应避免“可解释黑箱”的若干理由,指出可解释机器学习的挑战,并给出刑事司法、医疗和计算机视觉中可用可解释模型替代黑箱的例子。

HN 为什么提它

HN 上的人引用它代表 Rudin 的哲学立场:高风险场景应选可解释模型而非事后解释黑箱,并用它讨论偏见和模型可信度(如 Rashomon 集合的论点)。

观点难度 2 / 5约 45 分钟经得起时间
读之前最好知道
1机器学习基础
2模型可解释性(interpretability)
3事后解释方法(如 LIME、SHAP)
4算法公平与高风险决策

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你看到监管对可解释性的要求,以及复杂分类器不一定比简单方法更好的早期证据,再读主张改用可解释模型的论文。

  1. 1

    说明法规对算法决策解释权的要求,是文中讨论解释与可解释模型的现实背景。

    读GDPR 对算法决策和解释权的含义。

  2. 2
    Classifier Technology and the Illusion of Progress分类器技术与进步的幻觉 · 2006

    指出复杂分类器相对简单方法的优势往往是幻觉,支持改用简单可解释模型的论点。

    读简单方法与复杂方法性能接近的论证。

  3. 3
    Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead别再解释黑箱机器学习模型,在高风险决策中改用可解释模型 · 2018 · 就是这篇

    主张高风险决策应直接使用固有可解释模型,而非事后解释黑箱。

    读对事后解释的批评,以及可解释模型与准确性并不矛盾的论述。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐walnut_eater · 2021-10

“It provides a good representation of what she does and what she is well known for.”

推荐它,称能很好代表 Rudin 的工作和她的知名之处
Cynthia Rudin wins the 2021 AAAI Squirrel AI Award原评论 ↗
引用eggy · 2020-04

“to create a more easily explainable model, and try to avoid biases that may creep into a model”

借它主张用更易解释的模型并避免偏见混入
引用pjmorris · 2021-10

“From the linked paper, linked again [0] below, I think this represents Rudins philosophical view, and why it could be practical:”

借论文说明 Rudin 的哲学立场及其可行性
Cynthia Rudin wins the 2021 AAAI Squirrel AI Award原评论 ↗
引用apwheele · 2022-06

“There is good evidence these reduced form estimates can often be misleading, Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead.”

引它说明简化形式的估计往往会误导人
Shapash – Python library to make machine learning interpretable原评论 ↗
引用koutetsu · 2024-04

“They are also well known to be black boxes”

提到它们是出了名的黑箱,呼应高风险决策应用可解释模型
'Lavender': The AI machine directing Israel's bombing in Gaza原评论 ↗
被提交为 story · 2 次