“not SOTA beating or comparable really to large multimodal systems like imagebind [1]”
按年被提到
20232023 · 2 次2026
ImageBind: One Embedding Space To Bind Them All
ImageBind:一个嵌入空间绑定所有模态
Rohit Girdhar, Alaaeldin El-Nouby, Zhuang Liu, Mannat Singh, Kalyan Vasudev Alwala, Armand Joulin, Ishan Misra · 2023
只靠图像配对数据,把六种模态学进同一个嵌入空间。
被提及 · 3 人首次 2023-05-11 · 最近 2024-05-10
3不同的人
3活跃月份
3讨论串
893被引(OpenAlex)
提出 ImageBind,学习覆盖图像、文本、音频、深度、热成像和 IMU 六种模态的联合嵌入。训练时不需要所有模态两两配对,只用与图像配对的数据就足以把各模态绑在一起,并可借用大规模视觉-语言模型,把其零样本能力扩展到新模态。由此涌现出跨模态检索、模态算术组合、跨模态检测与生成等应用,并在跨模态零样本识别任务上刷新 SOTA、超过专门的有监督模型。
HN 为什么提它
评论者既把它当作大型多模态系统的 SOTA 对照点,也用它举例说明“把多种模态绑定到同一个共享嵌入空间”。
方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1对比学习(contrastive learning)
2CLIP 与视觉-语言模型
3多模态嵌入空间
4零样本识别(zero-shot recognition)
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先补上 Transformer、ViT 和 CLIP 这条线,再看 ImageBind 怎样把图像当作纽带,把更多模态绑进同一个嵌入空间。
- 1
- 2
ImageBind 的图像和其他模态编码器沿用 ViT 的图块化思路。
读把图像切块、线性投影成 token 序列的做法,以及 ViT 的整体结构。
- 3
早期的图文联合嵌入工作,说明把图像和文本映射到同一向量空间这一想法的来历。
读图像与文本共享嵌入空间的概念和检索用途;细节可略读。
- 4
ImageBind 直接借用 CLIP 式图文对比学习,并复用预训练的图文对齐模型。
读对比损失(InfoNCE 式)如何用图文对训练,以及零样本分类的用法。
- 5ImageBind: One Embedding Space To Bind Them All
目标论文:只用图像配对数据就把六种模态绑进同一嵌入空间。
读以图像为中心的配对训练、涌现的跨模态检索与组合能力;留意没有直接配对的模态为何也能对齐。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用AndrewKemendo · 2023-06
拿 ImageBind 这类大型多模态系统作为 SOTA 对比点,称对方不及
引用fzliu · 2024-05
“similar to what ImageBind is doing.”
指出做法与 ImageBind 类似:把多种模态绑定到同一个嵌入空间
被提交为 story · 1 次
- ImageBind: One Embedding Space to Bind Them All ↗jonbaer · 2023-05-11 · 1 分