按年被提到
20212022 · 4 次2026
视觉、语音与图像生成›视觉语言与自监督表征·arXiv:2103.00020 · cs.CV

Learning Transferable Visual Models From Natural Language Supervision

从自然语言监督中学习可迁移的视觉模型
Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever · 2021

CLIP:用 4 亿图文对对比预训练,实现零样本图像分类

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2021-03-24 · 最近 2025-01-15
7不同的人
7活跃月份
8讨论串
16,839被引(OpenAlex)

论文表明,在从互联网收集的 4 亿对(图像,文本)数据上,以“预测哪段文字配哪张图”这一简单预训练任务,就能高效且可扩展地从零学出最先进的图像表示。预训练后可用自然语言引用已学到的视觉概念或描述新概念,实现零样本迁移。在 30 多个涵盖 OCR、视频动作识别、地理定位和细粒度分类的数据集上,模型非平凡地迁移到多数任务,常与完全监督的基线相当;例如在 ImageNet 上零样本达到原始 ResNet-50 的准确率,而无需用到那 128 万训练样本。

HN 为什么提它

HN 上的人把它当作理解图文对齐和对比损失的标准参考:说明 CLIP 如何训练出余弦相似度有意义的嵌入,并常引用其训练数据规模(4 亿图文对)。

奠基之作难度 3 / 5约 70 分钟经得起时间
读之前最好知道
1对比学习(contrastive learning)
2Transformer 与视觉模型(ViT/ResNet)
3零样本迁移
4余弦相似度与嵌入

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解视觉主干(ResNet、ViT)与语言预训练(Transformer、BERT、GPT-3)两条线,再看早期图文联合嵌入,就能明白 CLIP 如何用自然语言监督做零样本迁移。

  1. 1
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    CLIP 的图像编码器之一就是改进的 ResNet

    读残差块的设计;了解 CLIP 修改的 ResNet 主干基线

  2. 2
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    CLIP 的文本编码器和 ViT 图像编码器都是 Transformer

    读第 3 节的自注意力、多头注意力和位置编码

  3. 3
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    文本编码器的预训练思路与表示学习范式参考

    读掩码语言模型的预训练思路;对照 CLIP 的对比式预训练目标

  4. 4
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    CLIP 的“零样本”和提示设计借鉴自 GPT-3

    读zero-shot 与 few-shot 的任务设定;理解用自然语言描述任务的思路

  5. 5
    An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale一张图胜过 16x16 个词:大规模图像识别中的 Transformer · 2020

    CLIP 的另一种图像编码器,也是其最佳模型的主干

    读图像切块成 patch 序列再喂给 Transformer 的做法

  6. 6

    早期的图文联合嵌入,CLIP 的思路前身

    读图像与文本共享嵌入空间并按相似度检索的核心思想

  7. 7

    CLIP 对比的大规模监督预训练视觉基线

    读大规模预训练再迁移的流程与评测方式;对照 CLIP 的零样本结果

  8. 8
    Learning Transferable Visual Models From Natural Language Supervision从自然语言监督中学习可迁移的视觉模型 · 2021 · 就是这篇

    目标论文:用图文对比预训练得到可零样本迁移的视觉模型

    读第 2 节的对比预训练目标与伪代码,第 3 节的零样本迁移与提示工程

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐SleekEagle · 2022-04

“Check out the CLIP paper for more details:”

推荐看 CLIP 论文了解细节,讲它在图像-文字说明对上的训练
How DALL-E 2 Works原评论 ↗
推荐SleekEagle · 2022-04

“I would encourage you to read the CLIP paper: Learning Transferable Visual Models From Natural Language Supervision”

鼓励阅读 CLIP 论文,了解它如何对齐文本与图像编码,需一些数学基础
How DALL-E 2 Works原评论 ↗
引用Isinlor · 2021-03

“OpenAI research around scaling laws in DL suggest that naive 1000 increase in training compute over CLIP should get us to state of the art vision in zero shot settings”

引用 OpenAI 的缩放定律研究,估计比 CLIP 多约 1000 倍训练算力可达零样本视觉最优
The End of Tesla’s Dominance May Be Closer Than It Appears原评论 ↗
引用criticaltinker · 2021-08

“which is conceptually promising in that it opens the door for machine learning models”

指出这类文本-图像模型在概念上很有前景,能学习文本与图像间的关系
Machine learning won't solve natural language understanding原评论 ↗
引用astrange · 2022-04

“Web crawling. (Learning Transferable Visual Models From Natural Language Supervision 2.2)”

指向论文 2.2 节,说明 CLIP 的训练数据来自网络爬取
A few things to try with DALL·E原评论 ↗
引用mwambua · 2022-10

“See section 2.3 of the CLIP paper: Learning Transferable Visual Models From Natural Language Supervision”

指向 CLIP 论文 2.3 节,用来说明其对比损失
The Illustrated Stable Diffusion原评论 ↗
看全部 10 条 →
引用montebicyclelo · 2024-03

“For example, here's the loss from the CLIP paper [1], which ensures cosine similarities are meaningful:”

举 CLIP 的损失为例,它确保余弦相似度有意义
Is Cosine-Similarity of Embeddings Really About Similarity?原评论 ↗
引用montebicyclelo · 2024-03

“The cases where it is useful are models that have been trained specifically to produce a meaningful cosine distance”

指出余弦距离有意义的情形是模型专门为此训练,如对比式图文模型
Is Cosine-Similarity of Embeddings Really About Similarity?原评论 ↗
引用ijk · 2024-08

“Where are you getting 2 billion from? The original CLIP paper says:”

质疑对方所说的 20 亿,引用原论文称 CLIP 用 4 亿对互联网图文训练
Artists score major win in copyright case against AI art generators原评论 ↗
引用montebicyclelo · 2025-01

“Or e.g. for vector representations of images, people are using models like CLIP [2], which has again been trained to use cosine similarity.”

拿 CLIP 举例,说明图像向量表示用余弦相似度训练
Don't use cosine similarity carelessly原评论 ↗