按年被提到
20242024 · 1 次2026
系统、数据库与网络›数据库与向量检索·arXiv:2410.14452 · cs.IR

SPFresh: Incremental In-Place Update for Billion-Scale Vector Search

SPFresh:十亿规模向量检索的增量原地更新
Yuming Xu, Hengyu Liang, Jin Li, Shuotao Xu, Qi Chen, Qianxi Zhang, Cheng Li, Ziyue Yang, Fan Yang, Yuqing Yang, Peng Cheng, Mao Yang · 2024

LIRE 协议:十亿级向量索引无需全局重建即可原地更新

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2024-10-22 · 最近 2026-03-17
3不同的人
3活跃月份
3讨论串
66被引(OpenAlex)

论文针对现有近似最近邻搜索(ANNS)系统靠次级索引累积更新、再定期全局重建主索引,导致延迟和精度波动、资源消耗大的问题,提出支持原地更新的 SPFresh。其核心是轻量级增量再平衡协议 LIRE:拆分向量分区,只重新分配分区边界附近的向量以适应数据分布漂移。在日更新率 1% 的十亿规模索引上,相比最先进方案它查询延迟与精度更优,高峰时只需 1% 的 DRAM 和不到 10% 的核。

HN 为什么提它

评论者在谈自己实现向量索引或整理向量检索论文时引用它,把它与 SPANN 一起作为微软研究院关于原地更新向量索引的参考。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1近似最近邻搜索(ANNS)
2向量索引(IVF、基于图的索引)
3磁盘与内存数据库系统基础
4SPANN 向量检索系统

学习路径

读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

候选里只有 HNSW 与目标论文直接相关:它是图索引的代表,也是 SPFresh 面对的更新难题的背景。其他候选不相关。

  1. 1
    Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs基于分层可导航小世界图的高效、鲁棒近似最近邻搜索 · 2016

    HNSW 是主流的图式向量索引,了解它才能明白为什么图索引难以做原地更新。

    读分层图的构建、插入与贪心搜索;注意更新带来的代价。

  2. 2
    SPFresh: Incremental In-Place Update for Billion-Scale Vector SearchSPFresh:十亿规模向量检索的增量原地更新 · 2024 · 就是这篇

    目标论文:LIRE 协议使十亿级向量索引无需全局重建即可原地更新。

    读增量更新协议的设计,以及与基于图的索引在更新代价上的比较。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用tanoku · 2024-10

“We based the implementation on two very new papers from Microsoft Research, SPANN and SPFresh.”

说明实现基于微软研究院的 SPANN 和 SPFresh 两篇新论文
The PlanetScale vectors public beta原评论 ↗
引用kingcauchy · 2026-03

“Not strictly google but microsoft/bing too, here's the top ones from my notes:”

列出笔记中微软必应方面的重要论文,它是其一
Show HN: Antfly: Distributed, Multimodal Search and Memory and Graphs in Go原评论 ↗
被提交为 story · 1 次