“Few of my favorite papers:”
Simplicity Creates Inequity: Implications for Fairness, Stereotypes, and Interpretability
形式化证明追求简单的预测函数必然损害弱势群体与公平
论文建立一个形式模型来探讨对简单或可解释预测函数的需求与公平分配之间的关系,证明二者存在根本性的不一致。在其框架下有两条基本结果:任何简单预测函数都严格可改进,存在更复杂的函数同时更高效、更公平;简单预测函数必然产生利用个体是否属于弱势群体的激励,使简单性把劣势转化为对弱势群体的偏见。作者指出结果不只适用于算法,也适用于任何产生简单模型的过程,并与刻板印象心理学和统计性歧视的经济学文献相联系。
HN 评论者把它列入自己最喜欢的论文,作为模型过于简单会在群体间造成不公平的例子。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先建立算法公平性的几个核心准则和不可能性结果,再补上可解释性与法规背景,最后读目标论文如何把简单性与公平性放进同一个形式化模型。
- 1
给出机会均等等公平性准则,是理解「公平」在预测任务里如何被形式化的起点。
读equalized odds / equal opportunity 的定义,以及事后调整预测器的思路;证明细节可略读。
- 2
围绕再犯预测工具 COMPAS 讨论 disparate impact,是公平性争论的典型案例。
读不同群体上错误率与校准的差异,以及作者为何认为这构成偏差。
- 3
证明多种公平性条件通常不能同时满足,说明公平性要求之间存在取舍。
读calibration 与 balance 条件的定义,以及不可能性定理的结论,不必追每一步证明。
- 4
GDPR 下的「解释权」是人们要求预测函数简单、可解释的现实动因。
读法规对自动化决策的要求,以及它与算法歧视、可解释性的关系。
- 5
厘清可解释性的含义,质疑线性模型天然可解释,对应目标论文里的「简单性」要求。
读作者区分的几类可解释性动机,以及对「简单模型就是可解释」的批评。
- 6Simplicity Creates Inequity: Implications for Fairness, Stereotypes, and Interpretability
把简单性与公平性放进同一个形式模型,证明追求简单会损害弱势群体。
读先读引言和模型设定,抓住「简单性约束导致群体间不公平」的核心结论与直觉。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及- Why simple, interpretable algorithms can't be fair ↗crunchiebones · 2018-10-28 · 2 分
- Simplicity Creates Inequity ↗martinlaz · 2019-05-08 · 2 分