引用QuantumPain · 2021-10
“This reminded me of Invariant Risk Minimization (IRM) due to the linear bound being sufficient to control the features.”
联想到 IRM,因为线性界足以控制特征
跨多个训练分布学习不变相关性,以实现分布外泛化的 IRM 范式
论文提出不变风险最小化(IRM)这一学习范式,用于估计跨多个训练分布不变的相关性。IRM 学习一种数据表示,使得建立在该表示之上的最优分类器在所有训练分布上都相同。作者通过理论和实验说明,IRM 学到的不变性与支配数据的因果结构相关,并有助于分布外泛化。
评论者在讨论线性界足以控制特征时,把它作为可对比的相关不变性方法来提及。
从深度网络泛化与靠不住的相关性说起,理解为什么需要学习跨分布不变的相关性,再读 IRM。
说明深度网络能记住随机标签,传统泛化解释不够,是本文关心泛化的背景。
读抓随机标签实验及其对泛化理论的挑战。
给出模型依赖纹理这类不稳定相关性的实例,是 IRM 要避开的虚假特征。
读抓形状与纹理冲突的实验。
同样从因果机制和分布变化的角度学习表示,与 IRM 动机相近。
读抓分布变化下哪些模块应快速适应的因果直觉。
跨多个训练分布学习不变相关性,实现分布外泛化。
读抓不变预测器的定义、IRM 目标与实际可优化的惩罚项。
“This reminded me of Invariant Risk Minimization (IRM) due to the linear bound being sufficient to control the features.”