按年被提到
20232023 · 2 次2026
视觉、语音与图像生成›视觉语言与自监督表征·arXiv:2305.05665 · cs.CV

ImageBind: One Embedding Space To Bind Them All

ImageBind:一个嵌入空间绑定所有模态
Rohit Girdhar, Alaaeldin El-Nouby, Zhuang Liu, Mannat Singh, Kalyan Vasudev Alwala, Armand Joulin, Ishan Misra · 2023

只靠图像配对数据,把六种模态学进同一个嵌入空间。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2023-05-11 · 最近 2024-05-10
3不同的人
3活跃月份
3讨论串
893被引(OpenAlex)

提出 ImageBind,学习覆盖图像、文本、音频、深度、热成像和 IMU 六种模态的联合嵌入。训练时不需要所有模态两两配对,只用与图像配对的数据就足以把各模态绑在一起,并可借用大规模视觉-语言模型,把其零样本能力扩展到新模态。由此涌现出跨模态检索、模态算术组合、跨模态检测与生成等应用,并在跨模态零样本识别任务上刷新 SOTA、超过专门的有监督模型。

HN 为什么提它

评论者既把它当作大型多模态系统的 SOTA 对照点,也用它举例说明“把多种模态绑定到同一个共享嵌入空间”。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1对比学习(contrastive learning)
2CLIP 与视觉-语言模型
3多模态嵌入空间
4零样本识别(zero-shot recognition)

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先补上 Transformer、ViT 和 CLIP 这条线,再看 ImageBind 怎样把图像当作纽带,把更多模态绑进同一个嵌入空间。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    ImageBind 各模态的编码器都是 Transformer 结构,注意力机制是共同基础。

    读自注意力与多头注意力的计算方式;不用细读机器翻译实验。

  2. 2
    An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale一张图胜过 16x16 个词:大规模图像识别中的 Transformer · 2020

    ImageBind 的图像和其他模态编码器沿用 ViT 的图块化思路。

    读把图像切块、线性投影成 token 序列的做法,以及 ViT 的整体结构。

  3. 3

    早期的图文联合嵌入工作,说明把图像和文本映射到同一向量空间这一想法的来历。

    读图像与文本共享嵌入空间的概念和检索用途;细节可略读。

  4. 4
    Learning Transferable Visual Models From Natural Language Supervision从自然语言监督中学习可迁移的视觉模型 · 2021

    ImageBind 直接借用 CLIP 式图文对比学习,并复用预训练的图文对齐模型。

    读对比损失(InfoNCE 式)如何用图文对训练,以及零样本分类的用法。

  5. 5
    ImageBind: One Embedding Space To Bind Them AllImageBind:一个嵌入空间绑定所有模态 · 2023 · 就是这篇

    目标论文:只用图像配对数据就把六种模态绑进同一嵌入空间。

    读以图像为中心的配对训练、涌现的跨模态检索与组合能力;留意没有直接配对的模态为何也能对齐。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用AndrewKemendo · 2023-06

“not SOTA beating or comparable really to large multimodal systems like imagebind [1]”

拿 ImageBind 这类大型多模态系统作为 SOTA 对比点,称对方不及
Bytes Are All You Need: Transformers Operating Directly on File Bytes原评论 ↗
引用fzliu · 2024-05

“similar to what ImageBind is doing.”

指出做法与 ImageBind 类似:把多种模态绑定到同一个嵌入空间
Radient – vectorize many data types, not just text原评论 ↗
被提交为 story · 1 次