按年被提到
20202020 · 2 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2009.03300 · cs.CY

Measuring Massive Multitask Language Understanding

度量大规模多任务语言理解(MMLU)
Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, Jacob Steinhardt · 2020

覆盖 57 个学科任务的语言模型多选基准 MMLU

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2020-09-09 · 最近 2026-06-24发表于 International Conference on Learning Representations
4不同的人
3活跃月份
4讨论串
1,627被引(OpenAlex)

论文提出一个衡量文本模型多任务准确率的新测试,涵盖初等数学、美国历史、计算机科学、法律等 57 个任务,要求模型具备广博的世界知识和解题能力。结果发现多数模型接近随机水平,最大的 GPT-3 平均比随机高出近 20 个百分点,但在 57 个任务上最好的模型离专家水平都还差很多。模型表现还很偏科,常常不知道自己何时出错,在道德和法律等有社会意义的科目上接近随机。

HN 为什么提它

HN 评论把它当作典型的多选式、按准确率打分的大模型评测基准(MMLU)的出处来引用。

实证研究难度 2 / 5约 35 分钟有时效性
读之前最好知道
1大语言模型基础
2基准测试与评估方法
3多选题准确率与随机基线
4GPT-3 与少样本学习

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先建立 Transformer、BERT 与 GPT-3 的预训练背景,再看缩放定律、此前的常识基准 HellaSwag 与校准问题,最后读 MMLU 如何度量多任务知识。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    被评测的语言模型都建立在 Transformer 之上。

    读只需了解自注意力和编码器-解码器结构,不必细看实验。

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    MMLU 用来评测 BERT 类微调模型和更大的少样本模型,先理解预训练加微调的范式。

    读掩码语言模型预训练与下游微调;了解 BERT 在多选类任务上的用法。

  3. 3
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    MMLU 评测的最大模型是 GPT-3,用的是少样本提示。

    读少样本、单样本、零样本的设置,以及模型规模对表现的影响。

  4. 4
    Scaling Laws for Neural Language Models神经语言模型的缩放定律 · 2020

    缩放定律解释了为什么模型和数据变大会带来能力提升,MMLU 想衡量的正是这种提升的广度。

    读损失随参数量、数据量、算力按幂律下降的主要曲线;不必推导拟合细节。

  5. 5

    HellaSwag 是同一作者圈较早的常识推理基准,可对照 MMLU 想补上的世界知识与专业知识。

    读对抗过滤构造基准的做法,以及基准被快速刷高后的问题。

  6. 6
    On Calibration of Modern Neural Networks现代神经网络的校准问题 · 2017

    目标论文还检验了模型置信度是否与准确率一致,这里的校准概念来自此文。

    读校准误差的定义与可靠性图,以及温度缩放;对应目标论文中置信度与准确率的比较。

  7. 7
    Measuring Massive Multitask Language Understanding度量大规模多任务语言理解(MMLU) · 2020 · 就是这篇

    目标论文:用覆盖 57 个学科的多选题度量语言模型的多任务准确率。

    读57 个任务的构成、零样本与少样本评测结果、各学科表现差异以及校准结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用thomasliao · 2026-06

“An example of this kind of eval is the Massive Multitask Language Understanding benchmark (2020).”

以 MMLU 为例说明这类按准确率打分的多项选择式评测
Why eval startups fail (2025)原评论 ↗
被提交为 story · 3 次