“The paper explains out how a rigorous testing revealed abysmal performance of LLMs (results that are at odds with how they are hyped about).”
按年被提到
20252025 · 17 次2026
Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad
证明还是糊弄?评测大语言模型在 2025 年美国数学奥林匹克上的表现
Ivo Petrov, Jasper Dekoninck, Lyuben Baltadzhiev, Maria Drencheva, Kristian Minchev, Mislav Balunović, Nikola Jovanović, Martin Vechev · 2025
LLM 在 2025 年 USAMO 证明题上几乎全军覆没
被推荐 · 15 人首次 2025-03-31 · 最近 2025-07-19
15不同的人
4活跃月份
14讨论串
15被引(OpenAlex)
MathArena 之类的数学基准只按最终数值答案评分,忽略了严谨推理与证明。作者在 2025 年 USAMO 六道题发布后数小时内,请专家人工评估了多个最先进的推理模型的完整解答:只有 Gemini-2.5-Pro 取得 25% 的非平凡得分,其余模型都低于 5%;对推理轨迹的分析归纳了常见失败模式,以及训练优化策略带来的一些不良痕迹。
HN 为什么提它
评论者引用它说明在严格评测下,LLM 在奥赛级证明题上表现糟糕,与宣传不符,称模型是在「糊弄」。
实证研究难度 2 / 5约 25 分钟有时效性
读之前最好知道
1大语言模型与推理模型
2数学竞赛与证明题(USAMO、AIME)
3基准评测方法
4失败模式分析
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐BlanketLogic · 2025-04
推荐这篇论文,严格测试暴露了 LLM 在奥赛证明上表现极差,与炒作不符
引用AIPedant · 2025-04
“Yes, here's the link: Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad”
回应他人请求,贴出 2025 年 USAMO 评测 LLM 证明的论文链接
引用simonw · 2025-04
“Relevant paper: Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad”
贴出相关论文,评测 LLM 在 2025 年 USAMO 上的证明写作
引用WhitneyLand · 2025-04
“(for ex: Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad)”
举例说明有评测针对没有数值答案的奥赛题,考察 LLM 的证明写作
引用bwfan123 · 2025-07
“Finally, this article shows that LLMs were just bluffing in the usamo 2025 [3].”
拿它说明 LLM 在 USAMO 2025 上其实只是在糊弄
引用bwfan123 · 2025-07
“Finally, this article shows that LLMs were just mostly bluffing [4].”
拿它说明 LLM 在奥赛级证明上大多只是在糊弄
看全部 7 条 →
引用bwfan123 · 2025-07
“Finally, this article shows that LLMs were just mostly bluffing [4] on usamo 2025.”
拿它说明 LLM 在 USAMO 2025 上大多只是在糊弄
被提交为 story · 10 次
- Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad ↗mfiguiere · 2025-03-31 · 13 分
- Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad ↗oidar · 2025-04-01 · 3 分
- Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad ↗mauriziocalo · 2025-04-01 · 6 分
- Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad ↗mromanuk · 2025-04-03 · 2 分
- Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad ↗Bluestein · 2025-04-06 · 5 分
- Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad ↗rahimnathwani · 2025-04-06 · 2 分