按年被提到
20242025 · 2 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2409.12640 · cs.CL

Michelangelo: Long Context Evaluations Beyond Haystacks via Latent Structure Queries

Michelangelo:基于潜在结构查询、超越大海捞针的长上下文评测
Kiran Vodrahalli, Santiago Ontanon, Nilesh Tripuraneni, Kelvin Xu, Sanil Jain, Rakesh Shivanna, Jeffrey Hui, Nishanth Dikkala, Mehran Kazemi, Bahare Fatemi, Rohan Anil, Ethan Dyer 等 24 人 · 2024

用潜在结构查询构造合成长上下文推理评测,超越单点检索

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2024-09-22 · 最近 2025-06-18
3不同的人
3活跃月份
3讨论串
17被引(OpenAlex)

论文提出 Michelangelo:一个简洁、合成、未泄露且易于自动评分的长上下文推理评测。其核心是潜在结构查询(LSQ)框架:构造需要模型「凿去」无关信息、揭示上下文中潜在结构的任务,再询问结构细节以验证理解,不只是检索单条信息。作者用它在代码和自然语言领域生成三项诊断评测,并在多个先进模型上显示这些评测信号强、整合长上下文信息仍有很大提升空间。

HN 为什么提它

评论者把它当作比多数「大查找表式」长上下文基准更不人为的评测来引用,并提到其中的 MRCR 评测,认为它远未被解决。

实证研究难度 3 / 5约 50 分钟有时效性
读之前最好知道
1大语言模型(LLM)基础
2长上下文与大海捞针(needle-in-a-haystack)评测
3基准数据集设计

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用sebzim4500 · 2025-03

“Looks like it's this benchmark [1]. It's certainly less artificial than most long context benchmarks (that are basically just a big lookup table)”

认出是这个基准,认为它比多数查表式长上下文基准更不做作
Gemini 2.5原评论 ↗
引用quelladora · 2025-06

“See contextarena.ai and the original paper Michelangelo”

指向 contextarena.ai 和原论文,说明 MRCR 长上下文评测出处
Making 2.5 Flash and 2.5 Pro GA, and introducing Gemini 2.5 Flash-Lite原评论 ↗
被提交为 story · 1 次