引用nopinsight · 2024-03
“GPQA: A Graduate-Level Google-Proof Q&A Benchmark GPQA”
贴出 GPQA,研究生水平、难以靠搜索作弊的基准,领域内博士得分 65% 到 75%
由领域专家出题、网络搜索也难答对的研究生级科学问答基准
论文发布 GPQA 数据集,含 448 道由生物、物理、化学领域专家编写的多选题。持有或在读相关领域博士学位的专家准确率约 65%,高水平的非专家即使可自由上网搜索 30 分钟以上也只有 34%,当时最强的 GPT-4 基线为 39%。作者希望借此支持可扩展监督(scalable oversight)实验。
评论者把 GPQA 当作衡量前沿模型推理能力的难题基准来引用,并拿人类得分对比各代模型的表现。
“GPQA: A Graduate-Level Google-Proof Q&A Benchmark GPQA”
“More rigorously, Claude Opus gets 60% on GPQA, which very smart humans only get 34% on”
“In fact take the GPQA test yourself and see how you do then give the same questions to o1.”
“They are indeed absent from the original cited paper [2]”