“Check out the CLIP paper for more details:”
Learning Transferable Visual Models From Natural Language Supervision
CLIP:用 4 亿图文对对比预训练,实现零样本图像分类
论文表明,在从互联网收集的 4 亿对(图像,文本)数据上,以“预测哪段文字配哪张图”这一简单预训练任务,就能高效且可扩展地从零学出最先进的图像表示。预训练后可用自然语言引用已学到的视觉概念或描述新概念,实现零样本迁移。在 30 多个涵盖 OCR、视频动作识别、地理定位和细粒度分类的数据集上,模型非平凡地迁移到多数任务,常与完全监督的基线相当;例如在 ImageNet 上零样本达到原始 ResNet-50 的准确率,而无需用到那 128 万训练样本。
HN 上的人把它当作理解图文对齐和对比损失的标准参考:说明 CLIP 如何训练出余弦相似度有意义的嵌入,并常引用其训练数据规模(4 亿图文对)。
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先理解视觉主干(ResNet、ViT)与语言预训练(Transformer、BERT、GPT-3)两条线,再看早期图文联合嵌入,就能明白 CLIP 如何用自然语言监督做零样本迁移。
- 1
CLIP 的图像编码器之一就是改进的 ResNet
读残差块的设计;了解 CLIP 修改的 ResNet 主干基线
- 2
- 3
文本编码器的预训练思路与表示学习范式参考
读掩码语言模型的预训练思路;对照 CLIP 的对比式预训练目标
- 4
CLIP 的“零样本”和提示设计借鉴自 GPT-3
读zero-shot 与 few-shot 的任务设定;理解用自然语言描述任务的思路
- 5
CLIP 的另一种图像编码器,也是其最佳模型的主干
读图像切块成 patch 序列再喂给 Transformer 的做法
- 6
早期的图文联合嵌入,CLIP 的思路前身
读图像与文本共享嵌入空间并按相似度检索的核心思想
- 7
CLIP 对比的大规模监督预训练视觉基线
读大规模预训练再迁移的流程与评测方式;对照 CLIP 的零样本结果
- 8Learning Transferable Visual Models From Natural Language Supervision
目标论文:用图文对比预训练得到可零样本迁移的视觉模型
读第 2 节的对比预训练目标与伪代码,第 3 节的零样本迁移与提示工程
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“I would encourage you to read the CLIP paper: Learning Transferable Visual Models From Natural Language Supervision”
“OpenAI research around scaling laws in DL suggest that naive 1000 increase in training compute over CLIP should get us to state of the art vision in zero shot settings”
“which is conceptually promising in that it opens the door for machine learning models”
“Web crawling. (Learning Transferable Visual Models From Natural Language Supervision 2.2)”
“See section 2.3 of the CLIP paper: Learning Transferable Visual Models From Natural Language Supervision”
看全部 10 条 →
“For example, here's the loss from the CLIP paper [1], which ensures cosine similarities are meaningful:”
“The cases where it is useful are models that have been trained specifically to produce a meaningful cosine distance”
“Where are you getting 2 billion from? The original CLIP paper says:”
“Or e.g. for vector representations of images, people are using models like CLIP [2], which has again been trained to use cosine similarity.”