按年被提到
20182019 · 2 次2026
社会、经济与科学研究›科研评价与算法公平·arXiv:1809.04578 · cs.LG

Simplicity Creates Inequity: Implications for Fairness, Stereotypes, and Interpretability

简单性造成不公平:对公平性、刻板印象与可解释性的启示
Jon Kleinberg, Sendhil Mullainathan · 2018

形式化证明追求简单的预测函数必然损害弱势群体与公平

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2018-10-28 · 最近 2019-05-08
3不同的人
3活跃月份
3讨论串
54被引(OpenAlex)

论文建立一个形式模型来探讨对简单或可解释预测函数的需求与公平分配之间的关系,证明二者存在根本性的不一致。在其框架下有两条基本结果:任何简单预测函数都严格可改进,存在更复杂的函数同时更高效、更公平;简单预测函数必然产生利用个体是否属于弱势群体的激励,使简单性把劣势转化为对弱势群体的偏见。作者指出结果不只适用于算法,也适用于任何产生简单模型的过程,并与刻板印象心理学和统计性歧视的经济学文献相联系。

HN 为什么提它

HN 评论者把它列入自己最喜欢的论文,作为模型过于简单会在群体间造成不公平的例子。

其他难度 4 / 5约 80 分钟经得起时间
读之前最好知道
1机器学习中的公平性(algorithmic fairness)
2预测函数与风险最小化
3统计性歧视(statistical discrimination)
4形式化建模与定理证明

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先建立算法公平性的几个核心准则和不可能性结果,再补上可解释性与法规背景,最后读目标论文如何把简单性与公平性放进同一个形式化模型。

  1. 1
    Equality of Opportunity in Supervised Learning监督学习中的机会均等 · 2016

    给出机会均等等公平性准则,是理解「公平」在预测任务里如何被形式化的起点。

    读equalized odds / equal opportunity 的定义,以及事后调整预测器的思路;证明细节可略读。

  2. 2

    围绕再犯预测工具 COMPAS 讨论 disparate impact,是公平性争论的典型案例。

    读不同群体上错误率与校准的差异,以及作者为何认为这构成偏差。

  3. 3
    Inherent Trade-Offs in the Fair Determination of Risk Scores公平确定风险评分中的内在权衡 · 2016

    证明多种公平性条件通常不能同时满足,说明公平性要求之间存在取舍。

    读calibration 与 balance 条件的定义,以及不可能性定理的结论,不必追每一步证明。

  4. 4

    GDPR 下的「解释权」是人们要求预测函数简单、可解释的现实动因。

    读法规对自动化决策的要求,以及它与算法歧视、可解释性的关系。

  5. 5
    The Mythos of Model Interpretability模型可解释性的迷思 · 2016

    厘清可解释性的含义,质疑线性模型天然可解释,对应目标论文里的「简单性」要求。

    读作者区分的几类可解释性动机,以及对「简单模型就是可解释」的批评。

  6. 6
    Simplicity Creates Inequity: Implications for Fairness, Stereotypes, and Interpretability简单性造成不公平:对公平性、刻板印象与可解释性的启示 · 2018 · 就是这篇

    把简单性与公平性放进同一个形式模型,证明追求简单会损害弱势群体。

    读先读引言和模型设定,抓住「简单性约束导致群体间不公平」的核心结论与直觉。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐MAXPOOL · 2019-01

“Few of my favorite papers:”

列为个人喜爱的论文之一,讲模型简单性如何造成群体不公
Opinion: A.I. Could Worsen Health Disparities原评论 ↗
被提交为 story · 2 次