引用tanoku · 2024-10
“We based the implementation on two very new papers from Microsoft Research, SPANN and SPFresh.”
说明实现基于微软研究院的 SPANN 和 SPFresh 两篇新论文
LIRE 协议:十亿级向量索引无需全局重建即可原地更新
论文针对现有近似最近邻搜索(ANNS)系统靠次级索引累积更新、再定期全局重建主索引,导致延迟和精度波动、资源消耗大的问题,提出支持原地更新的 SPFresh。其核心是轻量级增量再平衡协议 LIRE:拆分向量分区,只重新分配分区边界附近的向量以适应数据分布漂移。在日更新率 1% 的十亿规模索引上,相比最先进方案它查询延迟与精度更优,高峰时只需 1% 的 DRAM 和不到 10% 的核。
评论者在谈自己实现向量索引或整理向量检索论文时引用它,把它与 SPANN 一起作为微软研究院关于原地更新向量索引的参考。
候选里只有 HNSW 与目标论文直接相关:它是图索引的代表,也是 SPFresh 面对的更新难题的背景。其他候选不相关。
HNSW 是主流的图式向量索引,了解它才能明白为什么图索引难以做原地更新。
读分层图的构建、插入与贪心搜索;注意更新带来的代价。
目标论文:LIRE 协议使十亿级向量索引无需全局重建即可原地更新。
读增量更新协议的设计,以及与基于图的索引在更新代价上的比较。
“We based the implementation on two very new papers from Microsoft Research, SPANN and SPFresh.”
“Not strictly google but microsoft/bing too, here's the top ones from my notes:”