按年被提到
20192019 · 1 次2026
机器学习与深度学习›贝叶斯方法与 AutoML·arXiv:1907.02893 · stat.ML

Invariant Risk Minimization

不变风险最小化
Martin Arjovsky, Léon Bottou, Ishaan Gulrajani, David Lopez-Paz · 2019

跨多个训练分布学习不变相关性,以实现分布外泛化的 IRM 范式

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2019-07-18 · 最近 2026-03-14
3不同的人
3活跃月份
3讨论串
1,491被引(OpenAlex)

论文提出不变风险最小化(IRM)这一学习范式,用于估计跨多个训练分布不变的相关性。IRM 学习一种数据表示,使得建立在该表示之上的最优分类器在所有训练分布上都相同。作者通过理论和实验说明,IRM 学到的不变性与支配数据的因果结构相关,并有助于分布外泛化。

HN 为什么提它

评论者在讨论线性界足以控制特征时,把它作为可对比的相关不变性方法来提及。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1经验风险最小化(ERM)
2分布外泛化与分布偏移
3因果推断基础
4表示学习
5双层优化

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

从深度网络泛化与靠不住的相关性说起,理解为什么需要学习跨分布不变的相关性,再读 IRM。

  1. 1
    Understanding deep learning requires rethinking generalization理解深度学习需要重新思考泛化 · 2016

    说明深度网络能记住随机标签,传统泛化解释不够,是本文关心泛化的背景。

    读抓随机标签实验及其对泛化理论的挑战。

  2. 2
    ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustnessImageNet 训练的 CNN 偏向纹理;提高形状偏好可改善精度与鲁棒性 · 2018

    给出模型依赖纹理这类不稳定相关性的实例,是 IRM 要避开的虚假特征。

    读抓形状与纹理冲突的实验。

  3. 3

    同样从因果机制和分布变化的角度学习表示,与 IRM 动机相近。

    读抓分布变化下哪些模块应快速适应的因果直觉。

  4. 4
    Invariant Risk Minimization不变风险最小化 · 2019 · 就是这篇

    跨多个训练分布学习不变相关性,实现分布外泛化。

    读抓不变预测器的定义、IRM 目标与实际可优化的惩罚项。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用QuantumPain · 2021-10

“This reminded me of Invariant Risk Minimization (IRM) due to the linear bound being sufficient to control the features.”

联想到 IRM,因为线性界足以控制特征
Imitating Deep Learning Dynamics via Stochastic Differential Equations原评论 ↗
被提交为 story · 2 次