按年被提到
20252025 · 17 次2026
数学、逻辑与理论›AI 数学与定理证明·arXiv:2503.21934 · cs.CL

Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad

证明还是糊弄?评测大语言模型在 2025 年美国数学奥林匹克上的表现
Ivo Petrov, Jasper Dekoninck, Lyuben Baltadzhiev, Maria Drencheva, Kristian Minchev, Mislav Balunović, Nikola Jovanović, Martin Vechev · 2025

LLM 在 2025 年 USAMO 证明题上几乎全军覆没

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 15 人首次 2025-03-31 · 最近 2025-07-19
15不同的人
4活跃月份
14讨论串
15被引(OpenAlex)

MathArena 之类的数学基准只按最终数值答案评分,忽略了严谨推理与证明。作者在 2025 年 USAMO 六道题发布后数小时内,请专家人工评估了多个最先进的推理模型的完整解答:只有 Gemini-2.5-Pro 取得 25% 的非平凡得分,其余模型都低于 5%;对推理轨迹的分析归纳了常见失败模式,以及训练优化策略带来的一些不良痕迹。

HN 为什么提它

评论者引用它说明在严格评测下,LLM 在奥赛级证明题上表现糟糕,与宣传不符,称模型是在「糊弄」。

实证研究难度 2 / 5约 25 分钟有时效性
读之前最好知道
1大语言模型与推理模型
2数学竞赛与证明题(USAMO、AIME)
3基准评测方法
4失败模式分析

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐BlanketLogic · 2025-04

“The paper explains out how a rigorous testing revealed abysmal performance of LLMs (results that are at odds with how they are hyped about).”

推荐这篇论文,严格测试暴露了 LLM 在奥赛证明上表现极差,与炒作不符
Recent AI model progress feels mostly like bullshit原评论 ↗
引用AIPedant · 2025-04

“Yes, here's the link: Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad”

回应他人请求,贴出 2025 年 USAMO 评测 LLM 证明的论文链接
Recent AI model progress feels mostly like bullshit原评论 ↗
引用simonw · 2025-04

“Relevant paper: Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad”

贴出相关论文,评测 LLM 在 2025 年 USAMO 上的证明写作
Recent AI model progress feels mostly like bullshit原评论 ↗
引用WhitneyLand · 2025-04

“(for ex: Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad)”

举例说明有评测针对没有数值答案的奥赛题,考察 LLM 的证明写作
Qwen3: Think deeper, act faster原评论 ↗
引用bwfan123 · 2025-07

“Finally, this article shows that LLMs were just bluffing in the usamo 2025 [3].”

拿它说明 LLM 在 USAMO 2025 上其实只是在糊弄
AI capex is so big that it's affecting economic statistics原评论 ↗
引用bwfan123 · 2025-07

“Finally, this article shows that LLMs were just mostly bluffing [4].”

拿它说明 LLM 在奥赛级证明上大多只是在糊弄
AI capex is so big that it's affecting economic statistics原评论 ↗
看全部 7 条 →
引用bwfan123 · 2025-07

“Finally, this article shows that LLMs were just mostly bluffing [4] on usamo 2025.”

拿它说明 LLM 在 USAMO 2025 上大多只是在糊弄
OpenAI claims gold-medal performance at IMO 2025原评论 ↗
被提交为 story · 10 次