按年被提到
20252025 · 2 次2026
AI 安全、伦理与社会影响›通用智能与意识·arXiv:2505.11831 · cs.AI

ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems

ARC-AGI-2:前沿 AI 推理系统的新挑战
Francois Chollet, Mike Knoop, Gregory Kamradt, Bryan Landers, Henry Pinkard · 2025

ARC-AGI 基准的升级版,人类易解而当前 AI 很难

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2025-06-12 · 最近 2026-07-09
3不同的人
3活跃月份
3讨论串
36被引(OpenAlex)

论文介绍 ARC-AGI-2,它保留前代的输入输出对任务格式,但新增并扩充了一批任务,用来更细粒度地评估更高层次的抽象推理能力。作者给出大规模人类测试结果作为基线,说明这些任务对人类可做、对当前 AI 系统却很困难。

HN 为什么提它

评论者引用它讨论人类解题率的样本是否有代表性,也用它说明上一代模型在 v2 上得分低于 5%。

实证研究难度 2 / 5约 30 分钟有时效性
读之前最好知道
1ARC / ARC-AGI 基准与任务格式
2抽象推理与流体智力
3大语言模型评测
4基准测试的人类基线

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用yorwba · 2025-06

“The ARC-AGI-2 paper ARC-AGI-2 uses a non-representative sample, success rate differs widely across participants”

指出 ARC-AGI-2 论文用的是非代表性样本,不同参与者成功率差异很大
OpenAI o3-pro原评论 ↗
引用westurner · 2025-07

“ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems”

直接贴出标题,一个面向前沿 AI 推理系统的新基准挑战
New AI architecture delivers 100x faster reasoning with just 1,000 examples原评论 ↗
引用therobots927 · 2026-07

“As far as ARC-AGI goes it looks like last years models were scoring <5% against their v2 benchmark: ARC-AGI-2”

引用论文,去年的模型在 ARC-AGI-2 上得分低于 5%
Separating signal from noise in coding evaluations原评论 ↗