推荐lossolo · 2023-12
“A few more interesting papers not mentioned in the article:”
补充推荐几篇文章未提到的论文,比较人类与 GPT-4、GPT-4V 在抽象推理任务上的表现
ConceptARC 测试显示 GPT-4 与 GPT-4V 抽象推理远不及人类
用旨在评测核心知识概念的 ConceptARC 基准,考察纯文本和多模态版本 GPT-4 的抽象推理能力:对文本版任务采用更详细的 one-shot 提示,并在最简单任务的图像版上测试 GPT-4V 的 zero-shot 和 one-shot。实验结果支持结论:两个版本的 GPT-4 都没有发展出达到人类水平的稳健抽象能力。
HN 上的人把它列在论据清单里,作为「LLM 无法推理」的经验证据,并引用其中人类 91% 对 GPT-4 33% 的结果。
“A few more interesting papers not mentioned in the article:”
“Here is a very recent result that uses the benchmark: Comparing Humans, GPT-4, and GPT-4V On Abstraction and Reasoning Tasks.”
“For example: Comparing Humans, GPT-4, and GPT-4V On Abstraction and Reasoning Tasks”
“If after reading papers below that show empirically”
“Here, a few papers that show”
“Here are papers showing that these models can't reason:”