按年被提到
20232023 · 2 次2026
视觉、语音与图像生成›视觉语言与自监督表征·arXiv:2301.08243 · cs.CV

Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture

基于联合嵌入预测架构的图像自监督学习
Mahmoud Assran, Quentin Duval, Ishan Misra, Piotr Bojanowski, Pascal Vincent, Michael Rabbat, Yann LeCun, Nicolas Ballas · 2023

I-JEPA:无需手工数据增强,在表示空间预测图像块

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-06-13 · 最近 2025-03-29
4不同的人
4活跃月份
4讨论串
483被引(OpenAlex)

论文提出 I-JEPA(基于图像的联合嵌入预测架构),一种非生成式的图像自监督方法:由同一张图中的一个上下文块,预测多个目标块的表示,而不依赖手工设计的数据增强。作者指出掩码策略是获得语义表示的关键:目标块要有足够大的尺度,上下文块要信息充足且在空间上分布广。与 Vision Transformer 结合时扩展性很好,例如用 16 张 A100 在 72 小时内训练 ViT-Huge/14,在从线性分类到物体计数、深度预测等多种下游任务上表现强劲。

HN 为什么提它

作者之一在评论里宣布该论文将在 CVPR 2023 展示并放出代码,其他评论者则直接贴出论文链接。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1自监督学习与对比学习
2Vision Transformer(ViT)
3掩码图像建模(masked image modeling)
4表示学习与嵌入空间预测

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解 Transformer 和 BERT 的掩码预测,再看以图像为对象的自监督前作,最后读 I-JEPA 如何在表示空间里预测图像块。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    I-JEPA 的编码器和预测器都用 Transformer 结构。

    读自注意力与 token 序列的处理方式。

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    掩码预测的思想来自 BERT,I-JEPA 把它改为在表示空间预测。

    读掩码语言模型预训练的目标。

  3. 3

    代表早期靠预设任务做图像自监督的方法,可对比 I-JEPA 的做法。

    读上色作为预训练任务的设计,以及它依赖的人工设计之处。

  4. 4

    对比预测编码是以预测表示为目标的图像自监督,与 I-JEPA 的思路最接近。

    读在表示空间里做预测的对比目标,以及数据增强的使用。

  5. 5
    Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture基于联合嵌入预测架构的图像自监督学习 · 2023 · 就是这篇

    目标论文:不用手工数据增强、在表示空间预测图像块的 I-JEPA。

    读掩码策略(目标块与上下文块的取法)和在表示空间预测的设计。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用dpflan · 2023-06

“Here is the paper:”

贴出 I-JEPA 论文,即基于联合嵌入预测架构的图像自监督学习
I-JEPA: The first AI model based on Yann LeCun’s vision for more human-like AI原评论 ↗
引用mgreg · 2023-07

“Our paper on I-JEPA will be presented at CVPR 2023 next week”

作者宣布 I-JEPA 论文将在下周的 CVPR 2023 上发表,并放出代码
Meta's I-JEPA: First AI model based on LeCun’s vision for more human-like AI原评论 ↗
被提交为 story · 2 次