引用sebzim4500 · 2025-03
“Looks like it's this benchmark [1]. It's certainly less artificial than most long context benchmarks (that are basically just a big lookup table)”
认出是这个基准,认为它比多数查表式长上下文基准更不做作
用潜在结构查询构造合成长上下文推理评测,超越单点检索
论文提出 Michelangelo:一个简洁、合成、未泄露且易于自动评分的长上下文推理评测。其核心是潜在结构查询(LSQ)框架:构造需要模型「凿去」无关信息、揭示上下文中潜在结构的任务,再询问结构细节以验证理解,不只是检索单条信息。作者用它在代码和自然语言领域生成三项诊断评测,并在多个先进模型上显示这些评测信号强、整合长上下文信息仍有很大提升空间。
评论者把它当作比多数「大查找表式」长上下文基准更不人为的评测来引用,并提到其中的 MRCR 评测,认为它远未被解决。
“Looks like it's this benchmark [1]. It's certainly less artificial than most long context benchmarks (that are basically just a big lookup table)”
“See contextarena.ai and the original paper Michelangelo”