按年被提到
20252025 · 2 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2503.01996 · cs.CL

One ruler to measure them all: Benchmarking multilingual long-context language models

一把尺子量所有语言:多语言长上下文语言模型基准
Yekyung Kim, Jenna Russell, Marzena Karpinska, Mohit Iyyer · 2025

覆盖 26 种语言的长上下文检索与聚合评测基准 OneRuler

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2025-10-28 · 最近 2026-09-03
3不同的人
3活跃月份
3讨论串
5被引(OpenAlex)

论文提出 OneRuler,把仅有英文的 RULER 基准扩展到 26 种语言,包含 7 个合成任务,涵盖检索与聚合,并加入针可能不存在的 needle-in-a-haystack 变体。实验发现,随着上下文从 8K 增至 128K,低资源与高资源语言之间的差距在扩大,英语仅排第 6,波兰语排第一;许多模型(尤其是 o3-mini-high)会错误地判断答案不存在。指令语言与上下文语言不同时,表现最多可波动 20%。

HN 为什么提它

评论者引用它说明在长文档中查找和聚合信息的表现因语言而异,英语并非最好。

实证研究难度 2 / 5约 30 分钟有时效性
读之前最好知道
1长上下文语言模型
2needle-in-a-haystack 与 RULER 基准
3多语言 NLP 与低资源语言
4LLM 评测基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用hetman · 2026-09

“published some benchmark results for finding and aggregating information found in long documents, measured by language.”

引用其长文档信息查找与聚合的基准结果,按语言排名
The shrinking landscape of linguistic diversity in the age of LLMs原评论 ↗
被提交为 story · 2 次