引用dpflan · 2023-06
“Here is the paper:”
贴出 I-JEPA 论文,即基于联合嵌入预测架构的图像自监督学习
I-JEPA:无需手工数据增强,在表示空间预测图像块
论文提出 I-JEPA(基于图像的联合嵌入预测架构),一种非生成式的图像自监督方法:由同一张图中的一个上下文块,预测多个目标块的表示,而不依赖手工设计的数据增强。作者指出掩码策略是获得语义表示的关键:目标块要有足够大的尺度,上下文块要信息充足且在空间上分布广。与 Vision Transformer 结合时扩展性很好,例如用 16 张 A100 在 72 小时内训练 ViT-Huge/14,在从线性分类到物体计数、深度预测等多种下游任务上表现强劲。
作者之一在评论里宣布该论文将在 CVPR 2023 展示并放出代码,其他评论者则直接贴出论文链接。
先理解 Transformer 和 BERT 的掩码预测,再看以图像为对象的自监督前作,最后读 I-JEPA 如何在表示空间里预测图像块。
掩码预测的思想来自 BERT,I-JEPA 把它改为在表示空间预测。
读掩码语言模型预训练的目标。
对比预测编码是以预测表示为目标的图像自监督,与 I-JEPA 的思路最接近。
读在表示空间里做预测的对比目标,以及数据增强的使用。
目标论文:不用手工数据增强、在表示空间预测图像块的 I-JEPA。
读掩码策略(目标块与上下文块的取法)和在表示空间预测的设计。
“Here is the paper:”
“Our paper on I-JEPA will be presented at CVPR 2023 next week”