按年被提到
20232023 · 4 次2026
视觉、语音与图像生成›视觉语言与自监督表征·arXiv:2301.12597 · cs.CV

BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models

BLIP-2:用冻结图像编码器和大语言模型引导视觉语言预训练
Junnan Li, Dongxu Li, Silvio Savarese, Steven Hoi · 2023

用轻量 Q-Former 连接冻结的图像编码器与冻结的大语言模型

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-01-31 · 最近 2023-05-05
4不同的人
4活跃月份
4讨论串
1,559被引(OpenAlex)

论文提出 BLIP-2,一种通用且高效的视觉语言预训练策略:复用现成的冻结图像编码器和冻结大语言模型,通过轻量的 Querying Transformer(Q-Former)弥合模态差距,并分两阶段预训练。BLIP-2 在多项视觉语言任务上达到最优表现,而可训练参数大幅减少,例如零样本 VQAv2 上比 Flamingo80B 高 8.7%,可训练参数少 54 倍。模型还展示了按自然语言指令进行零样本图像到文本生成的能力。

HN 为什么提它

评论者把它当作多模态模型架构的代表,并指出 MiniGPT-4 直接复用了整个 BLIP-2 编码器。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 架构
2视觉编码器(如 ViT、CLIP)
3视觉语言预训练(vision-language pre-training)
4大语言模型基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用f38zf5vdt · 2023-03

“The multimodal models for text-vision were all established using a scaffold of architectures that unified text-token and vision-token similarity e.g. BLIP2.”

拿 BLIP2 为例,说明多模态模型都建立在统一文本与视觉 token 相似度的架构上
Zero-1-to-3: Zero-shot One Image to 3D Object原评论 ↗
引用HarHarVeryFunny · 2023-04

“If you look at their code it's literally using the entire BLIP-2 encoder (Salesforce code).”

指出 MiniGPT-4 的代码直接用了整个 BLIP-2 编码器
MiniGPT-4原评论 ↗
引用sitkack · 2023-05

“Given the exposure hn has had to blip-2 it might be good to provide more context.”

提到 HN 对 BLIP-2 已经很熟,建议补充背景:冻结编码器与 LLM 的视觉语言模型
MaMMUT: A simple vision-encoder text-decoder architecture for multimodal tasks原评论 ↗
被提交为 story · 1 次