“An example of this kind of eval is the Massive Multitask Language Understanding benchmark (2020).”
按年被提到
20202020 · 2 次2026
Measuring Massive Multitask Language Understanding
度量大规模多任务语言理解(MMLU)
Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, Jacob Steinhardt · 2020
覆盖 57 个学科任务的语言模型多选基准 MMLU
被提及 · 4 人首次 2020-09-09 · 最近 2026-06-24发表于 International Conference on Learning Representations
4不同的人
3活跃月份
4讨论串
1,627被引(OpenAlex)
论文提出一个衡量文本模型多任务准确率的新测试,涵盖初等数学、美国历史、计算机科学、法律等 57 个任务,要求模型具备广博的世界知识和解题能力。结果发现多数模型接近随机水平,最大的 GPT-3 平均比随机高出近 20 个百分点,但在 57 个任务上最好的模型离专家水平都还差很多。模型表现还很偏科,常常不知道自己何时出错,在道德和法律等有社会意义的科目上接近随机。
HN 为什么提它
HN 评论把它当作典型的多选式、按准确率打分的大模型评测基准(MMLU)的出处来引用。
实证研究难度 2 / 5约 35 分钟有时效性
读之前最好知道
1大语言模型基础
2基准测试与评估方法
3多选题准确率与随机基线
4GPT-3 与少样本学习
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先建立 Transformer、BERT 与 GPT-3 的预训练背景,再看缩放定律、此前的常识基准 HellaSwag 与校准问题,最后读 MMLU 如何度量多任务知识。
- 1
- 2
MMLU 用来评测 BERT 类微调模型和更大的少样本模型,先理解预训练加微调的范式。
读掩码语言模型预训练与下游微调;了解 BERT 在多选类任务上的用法。
- 3
- 4
缩放定律解释了为什么模型和数据变大会带来能力提升,MMLU 想衡量的正是这种提升的广度。
读损失随参数量、数据量、算力按幂律下降的主要曲线;不必推导拟合细节。
- 5
HellaSwag 是同一作者圈较早的常识推理基准,可对照 MMLU 想补上的世界知识与专业知识。
读对抗过滤构造基准的做法,以及基准被快速刷高后的问题。
- 6
目标论文还检验了模型置信度是否与准确率一致,这里的校准概念来自此文。
读校准误差的定义与可靠性图,以及温度缩放;对应目标论文中置信度与准确率的比较。
- 7Measuring Massive Multitask Language Understanding
目标论文:用覆盖 57 个学科的多选题度量语言模型的多任务准确率。
读57 个任务的构成、零样本与少样本评测结果、各学科表现差异以及校准结果。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用thomasliao · 2026-06
以 MMLU 为例说明这类按准确率打分的多项选择式评测
被提交为 story · 3 次
- Measuring Multitask Language Understanding ↗tristanz · 2020-09-09 · 1 分
- Measuring Multitask Language Understanding ↗jonbaer · 2020-09-14 · 2 分
- Measuring Multitask Language Understanding ↗tosh · 2024-04-20 · 1 分