按年被提到
20212021 · 1 次2026
数学、逻辑与理论›AI 数学与定理证明·arXiv:2103.03874 · cs.LG

Measuring Mathematical Problem Solving With the MATH Dataset

用 MATH 数据集衡量数学问题求解能力
Dan Hendrycks, Collin Burns, Saurav Kadavath, Akul Arora, Steven Basart, Eric Tang, Dawn Song, Jacob Steinhardt · 2021

含 12,500 道竞赛数学题的基准,暴露大模型的数学短板

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2021-11-10 · 最近 2025-01-30
3不同的人
3活跃月份
3讨论串
994被引(OpenAlex)

论文提出包含 12,500 道竞赛数学题的 MATH 数据集,每题附完整的分步解答,并提供一个大型辅助预训练数据集。实验显示即便使用巨大的 Transformer,准确率仍然很低,且在当时的规模趋势下单靠增加预算和参数量并不现实,作者认为需要算法层面的新突破。

HN 为什么提它

评论者把 MATH 当作评测大模型数学能力的标准基准,用它对比 LLaMA、PaLM、Minerva,或评测新发布的模型(如 Mistral Small 3 的 level 5 子集)。

实证研究难度 3 / 5约 40 分钟有时效性
读之前最好知道
1Transformer 与大语言模型
2基准测试与评测(benchmark)
3竞赛水平的数学基础
4预训练与微调

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你理解 MATH 基准的背景:Transformer 与规模定律、语言模型做符号数学和定理证明的先例,以及同类多任务基准 MMLU。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    MATH 评测的 GPT 类模型都建立在 Transformer 之上。

    读注意力与自回归解码的基本机制。

  2. 2
    Scaling Laws for Neural Language Models神经语言模型的缩放定律 · 2020

    MATH 的结论之一是仅靠增大模型参数难以解决数学题,与缩放定律形成对照。

    读损失随参数、数据、算力的幂律关系;对照 MATH 上缩放收益有限的结论。

  3. 3
    Measuring Massive Multitask Language Understanding度量大规模多任务语言理解(MMLU) · 2020

    同一作者团队的多任务基准,设计思路与 MATH 的评测方式相近。

    读基准的构造方式与少样本评测设定;对照 MATH 的难度分级。

  4. 4
    Deep Learning for Symbolic Mathematics用于符号数学的深度学习 · 2019

    较早展示神经网络做符号积分与微分方程,是数学任务上序列模型的先例。

    读把表达式序列化后用 seq2seq 求解的做法;数据如何生成。

  5. 5
    Generative Language Modeling for Automated Theorem Proving用于自动定理证明的生成式语言建模 · 2020

    用 Transformer 语言模型生成形式化证明,展示语言模型处理数学推理的尝试。

    读语言模型生成证明步骤并由验证器检查的流程;理解与逐步解答的差别。

  6. 6
    Measuring Mathematical Problem Solving With the MATH Dataset用 MATH 数据集衡量数学问题求解能力 · 2021 · 就是这篇

    目标论文:给出含逐步解答的竞赛数学题基准,并提供辅助预训练集。

    读题目来源、难度与学科分类、逐步解答格式;再看各模型的准确率与缩放趋势。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用nl · 2023-03

“The most relevant reported benchmark results are on Measuring Mathematical Problem Solving With the MATH Dataset”

指出最相关的基准结果来自 MATH,用来比较 LLaMA 与 PaLM、Minerva
Cerebras-GPT vs. LLaMA AI Model Performance Comparison原评论 ↗
引用tadamcz · 2025-01

“As soon as I saw this news on HN, I evaluated Mistral Small 3 on MATH [2] level 5 (hardest subset, 1,324 questions).”

用 MATH 最难的 level 5 子集评测 Mistral Small 3
Mistral Small 3原评论 ↗
被提交为 story · 1 次