按年被提到
20232023 · 5 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2311.09247 · cs.AI

Comparing Humans, GPT-4, and GPT-4V On Abstraction and Reasoning Tasks

在抽象与推理任务上比较人类、GPT-4 和 GPT-4V
Melanie Mitchell, Alessandro B. Palmarini, Arseny Moskvichev · 2023

ConceptARC 测试显示 GPT-4 与 GPT-4V 抽象推理远不及人类

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2023-11-17 · 最近 2025-06-15
5不同的人
4活跃月份
7讨论串
34被引(OpenAlex)

用旨在评测核心知识概念的 ConceptARC 基准,考察纯文本和多模态版本 GPT-4 的抽象推理能力:对文本版任务采用更详细的 one-shot 提示,并在最简单任务的图像版上测试 GPT-4V 的 zero-shot 和 one-shot。实验结果支持结论:两个版本的 GPT-4 都没有发展出达到人类水平的稳健抽象能力。

HN 为什么提它

HN 上的人把它列在论据清单里,作为「LLM 无法推理」的经验证据,并引用其中人类 91% 对 GPT-4 33% 的结果。

实证研究难度 2 / 5约 25 分钟有时效性
读之前最好知道
1大语言模型基础
2ARC 抽象推理基准
3提示(zero-shot / one-shot)
4多模态模型基本概念

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐lossolo · 2023-12

“A few more interesting papers not mentioned in the article:”

补充推荐几篇文章未提到的论文,比较人类与 GPT-4、GPT-4V 在抽象推理任务上的表现
Will scaling work?原评论 ↗
引用skepticATX · 2023-11

“Here is a very recent result that uses the benchmark: Comparing Humans, GPT-4, and GPT-4V On Abstraction and Reasoning Tasks.”

引用使用该基准的新结果:在 ConceptARC 上人类 91%,GPT-4 33%
I disagree with Geoff Hinton regarding "glorified autocomplete"原评论 ↗
引用reissbaker · 2023-11

“For example: Comparing Humans, GPT-4, and GPT-4V On Abstraction and Reasoning Tasks”

举它为例,说明 GPT-4 和 GPT-4V 在抽象任务上不及人类
Details emerge of surprise board coup that ousted CEO Sam Altman at OpenAI原评论 ↗
引用lossolo · 2024-08

“If after reading papers below that show empirically”

把它列为 LLM 无法推理的实证论文之一
Markov chains are funnier than LLMs原评论 ↗
引用lossolo · 2024-08

“Here, a few papers that show”

把它列为 LLM 无法推理的实证论文之一
Markov chains are funnier than LLMs原评论 ↗
引用lossolo · 2025-06

“Here are papers showing that these models can't reason:”

引用它说明这些模型在抽象任务上无法推理
Seven replies to the viral Apple reasoning paper and why they fall short原评论 ↗
被提交为 story · 2 次