按年被提到
20252025 · 4 次2026
大模型与语言模型›词向量与预训练模型·arXiv:2508.21038 · cs.IR

On the Theoretical Limitations of Embedding-Based Retrieval

论基于嵌入的检索的理论局限
Orion Weller, Michael Boratko, Iftekhar Naim, Jinhyuk Lee · 2025

证明单向量嵌入的维度限制了能检索出的文档子集

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2025-08-29 · 最近 2025-10-24
4不同的人
3活跃月份
4讨论串
41被引(OpenAlex)

作者指出,向量嵌入的理论局限并不只出现在不现实的查询上,在非常简单的现实查询里也会遇到。他们借助学习理论中的已知结果,说明可由某个查询返回的 top-k 文档子集数目受嵌入维度限制,并用可自由参数化的嵌入在测试集上直接优化来验证这一点;返回所有文档对需要相对较高的维度。据此构建了 LIMIT 数据集,结果即使是最先进的嵌入模型也在这个任务上失败。

HN 为什么提它

HN 上的人提它来说明嵌入维度限制了检索能力,语料规模变大时准确率会崩,也提醒向量检索对某些场景容量不足。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1向量嵌入与相似度检索
2线性代数(秩与维度)
3学习理论基础
4信息检索评测

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐kingstnap · 2025-10

“The Google one about what are the limits of embedding dimensions also is great”

推荐 Google 这篇关于嵌入维度极限的论文,称很棒
'Attention is all you need' coauthor says he's 'sick' of transformers原评论 ↗
引用kgeist · 2025-09

“There was recently this paper: On the Theoretical Limitations of Embedding-Based Retrieval”

指出最近有篇论文:语料变大时嵌入维度限制导致检索失效
Vector database that can index 1B vectors in 48M原评论 ↗
引用ignobletruth · 2025-09

“However, this recent article empirically characterizes the semantic capacity of embedding vectors, finding inadequate capacity for some use cases.”

引用它实证刻画嵌入向量的语义容量,发现某些场景容量不足
Language models pack billions of concepts into 12k dimensions原评论 ↗
被提交为 story · 1 次