按年被提到
20252025 · 4 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2509.01092 · cs.CL

REFRAG: Rethinking RAG based Decoding

REFRAG:重新思考基于 RAG 的解码
Xiaoqiang Lin, Aritra Ghosh, Bryan Kian Hsiang Low, Anshumali Shrivastava, Vijai Mohan · 2025

利用 RAG 上下文的稀疏结构,大幅加速解码并扩展上下文

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2025-09-08 · 最近 2025-11-27
4不同的人
3活跃月份
4讨论串
9被引(OpenAlex)

论文观察到 RAG 的上下文由拼接的检索段落构成,只有少数与查询直接相关,且段落间语义相似度低,形成块对角的注意力模式,因此解码时对 RAG 上下文的大部分计算并不必要。据此提出 REFRAG,一个“压缩、感知、扩展”的高效解码框架:利用稀疏结构,首 token 时间加速约 30.85 倍(比先前工作提升 3.75 倍)且不损失困惑度,并可把 LLM 的上下文长度扩展 16 倍。在 RAG、多轮对话和长文档摘要等任务上,相比 LLaMA 和其他基线,加速明显且准确率没有损失。

HN 为什么提它

mentions 中没有可引用的评论原话,只能确定它在不同月份被多人提到,原因无法据此判断。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1检索增强生成(RAG)
2Transformer 注意力与 KV cache
3长上下文推理的延迟与吞吐
4时间到首 token(time-to-first-token)

HN 书评

没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)
讨论串评论datadrivenangel · 2025-09

“Am I misunderstanding this or is basically just taking RAG results and doing a vector search on the results and only passing some to the context window? Also, why do these AI papers never get speedup times in human time units?”

Refrag: Rethinking RAG Based Decoding原评论 ↗
讨论串评论srameshc · 2025-11

“This LLM-generated abstract contains instances of pleonasm. While I am unsure if there is a required minimum word count for abstracts, the current version could be improved. Specifically, the abstract could more clearly described that it is an "efficient decoding framework that compresses, senses, and expands to improve latency in RAG applications."”

Refrag: Rethinking RAG Based Decoding原评论 ↗
被提交为 story · 4 次