引用hetman · 2026-09
“published some benchmark results for finding and aggregating information found in long documents, measured by language.”
引用其长文档信息查找与聚合的基准结果,按语言排名
覆盖 26 种语言的长上下文检索与聚合评测基准 OneRuler
论文提出 OneRuler,把仅有英文的 RULER 基准扩展到 26 种语言,包含 7 个合成任务,涵盖检索与聚合,并加入针可能不存在的 needle-in-a-haystack 变体。实验发现,随着上下文从 8K 增至 128K,低资源与高资源语言之间的差距在扩大,英语仅排第 6,波兰语排第一;许多模型(尤其是 o3-mini-high)会错误地判断答案不存在。指令语言与上下文语言不同时,表现最多可波动 20%。
评论者引用它说明在长文档中查找和聚合信息的表现因语言而异,英语并非最好。
“published some benchmark results for finding and aggregating information found in long documents, measured by language.”