按年被提到
20252025 · 14 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2502.05167 · cs.CL

NoLiMa: Long-Context Evaluation Beyond Literal Matching

NoLiMa:超越字面匹配的长上下文评测
Ali Modarressi, Hanieh Deilamsalehy, Franck Dernoncourt, Trung Bui, Ryan A. Rossi, Seunghyun Yoon, Hinrich Schütze · 2025

NoLiMa:去掉字面匹配后,长上下文大模型的检索能力明显下滑

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 9 人首次 2025-02-12 · 最近 2026-04-14
9不同的人
7活跃月份
16讨论串
17被引(OpenAlex)

常用的大海捞针(NIAH)测试里,模型可借助针与草堆之间的字面匹配来简化任务。NoLiMa 设计了问题与针词汇重叠极小的针集,要求模型推断潜在关联来定位信息。对 13 个声称支持至少 128K 上下文的 LLM 评估显示:短上下文(<1K)时表现良好,但随上下文变长大幅下降;在 32K 时 11 个模型降到各自强基线的 50% 以下,GPT-4o 也从接近满分的 99.3% 降到 69.7%。作者认为原因是缺少字面匹配时注意力在长上下文中检索更困难,推理增强和 CoT 提示也难以保持性能。

HN 为什么提它

HN 上的人把它当作长上下文能力被高估的重要证据,建议所有模型都用它的方法评测,并据此建议多开新对话,也有人提醒其中评测的是较旧的模型。

实证研究难度 2 / 5约 40 分钟有时效性
读之前最好知道
1上下文窗口与长上下文 LLM
2大海捞针(needle-in-a-haystack)评测
3注意力机制
4基准评测的设计

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐consumer451 · 2025-04

“I really wish that when papers like this one were created, someone took the methodology and kept running with it for every model:”

希望有人沿用这类论文的方法,对每个模型都持续评测
GPT-4.1 in the API原评论 ↗
推荐consumer451 · 2025-05

“I post this because this information seems very important for users of LLMs, and devs implementing LLMs in their own solutions.”

贴出它,因为多数 LLM 在 32K 时准确率降到一半以下,对使用者和开发者很重要
NoLiMa: Long-Context Evaluation Beyond Literal Matching原评论 ↗
引用consumer451 · 2025-03

“I just learned something about LLMs: start a new chat as often as possible.”

由此得出的经验:上下文变长时 LLM 准确率骤降,要尽量多开新对话
Converting C to ASM to specs and then to a working Z/80 Speccy tape原评论 ↗
引用daemonologist · 2025-04

“the rest of the scores come from the original paper [0] which was published before 3.7 was available.”

指出其余模型的分数来自这篇原论文,发表时 3.7 还未出现
Evidence suggesting Quasar Alpha is OpenAI's new model原评论 ↗
引用consumer451 · 2025-05

“Hello Simon, sorry for asking about this tangent here, but have you seen this paper? Is it as important as it appears to be? Should this metric be on all system cards?”

向对方询问这篇论文是否像看起来那么重要,该指标是否应写进所有 system card
Show HN: My LLM CLI tool can run tools now, from Python code or plugins原评论 ↗
引用ivzak · 2026-03

“steering away from the literal matching crushes performance already at 8k+ tokens: NoLiMa, although the models in this paper are quite old (gpt-4o ish).”

指出摆脱字面匹配后性能在 8k 以上就崩,不过论文里的模型较旧
看全部 7 条 →
引用consumer451 · 2026-04

“to avoid known NoLiMa [0] / context rot [1] crap.”

把 NoLiMa 当作已知的 context rot 问题,说明自己要设法避开
Claude Code Routines原评论 ↗
被提交为 story · 9 次