按年被提到
20242024 · 5 次2026
大模型与语言模型›词向量与预训练模型·arXiv:2407.01449 · cs.IR

ColPali: Efficient Document Retrieval with Vision Language Models

ColPali:用视觉语言模型做高效文档检索
Manuel Faysse, Hugues Sibille, Tony Wu, Bilel Omrani, Gautier Viaud, Céline Hudelot, Pierre Colombo · 2024

直接嵌入文档页面图像做检索,免去脆弱的 PDF 解析流程

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2024-07-02 · 最近 2025-03-11
7不同的人
4活跃月份
7讨论串
79被引(OpenAlex)

文档不仅有文字,还靠图表、版面、表格甚至字体传达信息,而现有检索系统主要依赖冗长脆弱的文本抽取流程,难以利用视觉线索。论文提出视觉文档检索基准 ViDoRe,涵盖多领域、多语言的页面级检索任务,并提出“直接嵌入文档页面图像”做检索的新思路,发布 ColPali:一个视觉语言模型,从文档页面图像生成高质量多向量嵌入,配合后期交互(late interaction)匹配。它大幅优于现代文档检索流水线,同时更简单、更快且可端到端训练。模型、数据、代码与基准均以开放许可证发布。

HN 为什么提它

HN 上的人把它当作“根本不解析 PDF、直接嵌入页面截图”这一新范式的代表,推荐它来说明为何在 RAG 中应采用 ColPali 式方案而不是直接用普通视觉嵌入。

方法难度 3 / 5约 45 分钟有时效性
读之前最好知道
1检索增强生成(RAG)
2视觉语言模型(VLM)
3多向量嵌入与后期交互(ColBERT)
4文档解析与 OCR 流水线

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐jonathan-adly · 2025-01

“The ColPali paper(1) does a good job explaining why you don’t really want to directly use vision embeddings; and how you are much better off optimizing for RAG with a ColPali like setup.”

推荐它,说明为何不宜直接用视觉嵌入,用 ColPali 式方案优化 RAG 更好
How we used GPT-4o for image detection with 350 similar illustrations原评论 ↗
引用reerdna · 2024-07

“an emerging paradigm is to not parse the PDF at all”

借它说明新兴范式:完全不解析 PDF,直接嵌入页面截图做检索
Ask HN: What are you using to parse PDFs for RAG?原评论 ↗
引用jeffchuber · 2024-10

“Relatedly ColPali is gaining a ton of steam in the IR community.”

指出它在信息检索领域势头很猛
Retrieval powered by object storage: AMA原评论 ↗
引用Adityav369 · 2025-03

“Or for those more technically inclined: ColPali”

给技术背景更强的人补充 ColPali 论文
Show HN: DataBridge: Open-Source Multi-Modal Parser and Retriever for LLMs原评论 ↗
被提交为 story · 3 次