按年被提到
20222023 · 16 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2212.09196 · cs.AI

Emergent Analogical Reasoning in Large Language Models

大语言模型中涌现的类比推理能力
Taylor Webb, Keith J. Holyoak, Hongjing Lu · 2022

GPT-3 在多种类比任务上的表现接近甚至超过人类。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2023-03-27 · 最近 2024-03-03
3不同的人
7活跃月份
11讨论串
431被引(OpenAlex)

把人类被试与 GPT-3(text-davinci-003)放在一系列类比任务上直接对比,其中包括基于瑞文标准推理测验规则结构的非视觉矩阵推理任务。GPT-3 表现出很强的抽象模式归纳能力,在多数设置下与人类持平甚至更高;对 GPT-4 的初步测试表现更好。作者据此认为,GPT-3 这类大语言模型已涌现出零样本解决多种类比问题的能力。

HN 为什么提它

在 2023 年关于 LLM 能否做抽象推理的争论中,评论者反复引它作为“LLM 在类比推理上不输人类、接近顶尖水平”的证据,并强调其测试集是新做的、不易被污染。

实证研究难度 2 / 5约 35 分钟有时效性
读之前最好知道
1大语言模型(LLM)基础
2类比推理与瑞文推理测验(Raven's matrices)
3零样本提示(zero-shot prompting)

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径建立 GPT-3 类模型、涌现能力和指令微调的背景,再引入认知科学里对类人推理和神经符号方法的讨论,用来理解 GPT-3 类比推理实验的意义。

  1. 1
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    目标论文测试的 GPT-3 系列模型,零样本和少样本能力来自这里。

    读few-shot 和 zero-shot 的任务设置,以及规模与表现的关系。

  2. 2
    Training language models to follow instructions with human feedback用人类反馈训练语言模型遵循指令 · 2022

    目标论文使用的 text-davinci-003 属于经人类反馈微调的这一类模型。

    读人类反馈微调的流程和它对模型行为的影响。

  3. 3
    Emergent Abilities of Large Language Models大语言模型的涌现能力 · 2022

    目标论文讨论类比推理是否随规模涌现,这是涌现能力的核心概念。

    读涌现能力的定义和随规模出现突变的例子;理解为什么这个概念有争议。

  4. 4
    Building Machines That Learn and Think Like People构建像人一样学习和思考的机器 · 2016

    认知科学视角:人类智能的特点,包括类比、组合性,是判断模型是否类人的参照。

    读关于因果模型、直觉理论和组合性的论述。

  5. 5
    Dissociating language and thought in large language models解耦大语言模型中的语言与思维 · 2023

    区分语言能力与思维能力,帮助评价语言模型在推理任务上的表现。

    读形式语言能力与功能语言能力的区分。

  6. 6
    A Neuro-vector-symbolic Architecture for Solving Raven's Progressive Matrices用于求解瑞文渐进矩阵的神经-向量-符号架构 · 2022

    目标论文用到矩阵推理类任务,这篇是用神经符号方法解瑞文矩阵的对照。

    读瑞文渐进矩阵任务的形式,以及向量符号表示的做法。

  7. 7
    Emergent Analogical Reasoning in Large Language Models大语言模型中涌现的类比推理能力 · 2022 · 就是这篇

    目标论文:比较 GPT-3 和人类在多种类比任务上的表现。

    读各类类比任务的设计、人与模型的对比结果和作者的解读。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用og_kalu · 2023-03

“Oh boy, if you want to fling papers/research, i can do that just fine.”

回应对方时甩出这篇研究,作为 LLM 能做类比推理的反证
引用og_kalu · 2023-04

“Yeah. Emergent Analogical Reasoning in Large Language Models”

贴出它,作为 LLM 能做类比推理的证据,同时需要更多评测
Eight Things to Know About Large Language Models [pdf]原评论 ↗
引用og_kalu · 2023-04

“For the text, LLMs don't really have any problem with analogical reasoning Emergent Analogical Reasoning in Large Language Models”

拿它说明在文本上 LLM 做类比推理没什么问题
Eight Things to Know About Large Language Models [pdf]原评论 ↗
引用og_kalu · 2023-04

“LLMs don't really have any problem with abstract analogical reasoning”

拿它说明 LLM 能做抽象类比推理,但有一些限定
Eight Things to Know About Large Language Models [pdf]原评论 ↗
引用og_kalu · 2023-04

“For abstract analogical reasoning, LLMs don't have a problem with that. Emergent Analogical Reasoning in Large Language Models”

用它说明抽象类比推理对 LLM 不成问题
Eight Things to Know About Large Language Models [pdf]原评论 ↗
引用og_kalu · 2023-04

“You're right that LLMs can solve abstract analogical reasoning problems Emergent Analogical Reasoning in Large Language Models”

同意对方,并引它说明 LLM 能解抽象类比推理问题
Eight Things to Know About Large Language Models [pdf]原评论 ↗
看全部 15 条 →
引用og_kalu · 2023-04

“In some cases (nlp, analogical reasoning - Emergent Analogical Reasoning in Large Language Models, and some others it's top %)”

举它为例,说明类比推理等某些任务上 LLM 达到人类前列水平
Large Language Models: Scaling Laws and Emergent Properties原评论 ↗
引用og_kalu · 2023-05

“For some like abstract analogical reasoning, LLMs are top % performers.”

拿它说明在抽象类比推理等任务上,LLM 属于顶尖表现者
LLMs are not greater than the sum of their parts: Stanford researchers原评论 ↗
引用og_kalu · 2023-05

“you can basically take your pick of reasonong type - Algorithmic, Casual, Inference, Analogical and read a paper showing strong performance.”

把这篇类比推理论文当作 LLM 推理能力强的证据
Just Calm Down About GPT-4 Already原评论 ↗
引用og_kalu · 2023-05

“You are wrong. and there's many papers to show otherwise.”

反驳对方,把这篇类比推理论文当作 LLM 能推理的证据
Governance of Superintelligence原评论 ↗
引用og_kalu · 2023-05

“Emergent Analogical Reasoning in Large Language Models - new evaluation set introduced with the paper. modelled after tests that previously only had visual equivalents. contamination literally impossible”

指出论文新引入的评测集仿照原本只有视觉版的测试,不可能有数据污染
Governance of Superintelligence原评论 ↗
引用og_kalu · 2023-09

“It doesn't even hold with your example because GPT-4 is pretty good at Math, nowhere near”

反驳 LLM 缺乏抽象推理的说法,称它们能解类比问题
Recursively Summarizing Enables Long-Term Dialogue Memory in LLMs原评论 ↗
引用og_kalu · 2023-11

“LLMs are not bad at abstraction in general, just spatially focused abstraction.”

认为 LLM 并非不擅长抽象,只是不擅长空间类抽象
Sutskever: OpenAI board doing its mission to build AGI that benefits all原评论 ↗
引用og_kalu · 2023-12

“Well you are wrong”

直接反驳对方,用它说明大语言模型中涌现了类比推理
Weak-to-Strong Generalization原评论 ↗
引用canjobear · 2024-03

“they’re about as good as humans on a text version of Raven’s matrices, another IQ test.”

拿它说明 LLM 在文本版瑞文矩阵这类 IQ 测试上与人类相当
Top AIs still fail IQ tests原评论 ↗
被提交为 story · 2 次