按年被提到
20232024 · 2 次2026
数学、逻辑与理论›AI 数学与定理证明·arXiv:2311.12022 · cs.AI

GPQA: A Graduate-Level Google-Proof Q&A Benchmark

GPQA:研究生水平、搜索引擎难以作弊的问答基准
David Rein, Betty Li Hou, Asa Cooper Stickland, Jackson Petty, Richard Yuanzhe Pang, Julien Dirani, Julian Michael, Samuel R. Bowman · 2023

由领域专家出题、网络搜索也难答对的研究生级科学问答基准

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2024-03-04 · 最近 2025-12-08
4不同的人
4活跃月份
4讨论串
290被引(OpenAlex)

论文发布 GPQA 数据集,含 448 道由生物、物理、化学领域专家编写的多选题。持有或在读相关领域博士学位的专家准确率约 65%,高水平的非专家即使可自由上网搜索 30 分钟以上也只有 34%,当时最强的 GPT-4 基线为 39%。作者希望借此支持可扩展监督(scalable oversight)实验。

HN 为什么提它

评论者把 GPQA 当作衡量前沿模型推理能力的难题基准来引用,并拿人类得分对比各代模型的表现。

奠基之作难度 2 / 5约 45 分钟有时效性
读之前最好知道
1大语言模型(LLM)基础
2基准测试(benchmark)的概念
3可扩展监督(scalable oversight)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用nopinsight · 2024-03

“GPQA: A Graduate-Level Google-Proof Q&A Benchmark GPQA”

贴出 GPQA,研究生水平、难以靠搜索作弊的基准,领域内博士得分 65% 到 75%
Claude 3 model family原评论 ↗
引用apsec112 · 2024-04

“More rigorously, Claude Opus gets 60% on GPQA, which very smart humans only get 34% on”

拿它说明 Claude Opus 在 GPQA 上得 60%,而很聪明的人只有 34%
The question that no LLM can answer and why it is important原评论 ↗
引用vonneumannstan · 2025-03

“In fact take the GPQA test yourself and see how you do then give the same questions to o1.”

建议自己做一遍 GPQA 题目,再把同样的题给 o1 对比
I genuinely don't understand why some people are still bullish about LLMs原评论 ↗
引用ricardobeat · 2025-12

“They are indeed absent from the original cited paper [2]”

用原论文核对一条被幻觉出来的引用,指出那些作者确实不在其中
Over fifty new hallucinations in ICLR 2026 submissions原评论 ↗