按年被提到
20232023 · 11 次2026
AI 安全、伦理与社会影响›大模型与人类行为·arXiv:2302.02083 · cs.CL

Evaluating Large Language Models in Theory of Mind Tasks

评估大语言模型在心智理论任务上的表现
Michal Kosinski · 2023

用错误信念任务测 11 个 LLM 的心智理论能力

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 10 人首次 2023-02-09 · 最近 2023-05-14
10不同的人
4活跃月份
9讨论串
522被引(OpenAlex)

论文用自制的错误信念任务集评估 11 个大语言模型:共 40 个任务、640 条提示,每个任务包含一个错误信念场景、三个匹配的真实信念对照场景及其反转版本。较小较旧的模型一个任务也解不出,GPT-3-davinci-003 和 ChatGPT-3.5-turbo 解出 20%,2023 年 6 月的 ChatGPT-4 解出 75%,相当于六岁儿童的水平;作者探讨了这些结果的可能解释,包括心智理论可能作为语言能力提升的副产品自发涌现。

HN 为什么提它

2023 年 GPT-4 刚发布时,评论者用它支持「LLM 具备基础心智理论、能做一定高阶推理」的看法,引用的多是这篇论文和同类评测。

实证研究难度 2 / 5约 25 分钟有时效性
读之前最好知道
1心智理论(theory of mind)与错误信念任务
2大语言模型基础
3提示词与评测设计

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解语言模型随规模提升的缩放规律,再看人类反馈训练如何让模型更会遵循指令,以及此前对语言模型社交智能的质疑,才能读懂这篇用错误信念任务测心智理论的结果。

  1. 1
    Scaling Laws for Neural Language Models神经语言模型的缩放定律 · 2020

    解释模型规模与能力的关系,对应目标论文中越大越新的模型表现越好的趋势。

    读损失随参数、数据和算力按幂律下降的结论。

  2. 2
    Learning to summarize from human feedback从人类反馈中学习摘要 · 2020

    人类反馈强化学习的前期工作,是后来指令遵循模型的方法来源。

    读奖励模型加强化学习微调的流程,只抓核心思路。

  3. 3
    Training language models to follow instructions with human feedback用人类反馈训练语言模型遵循指令 · 2022

    目标论文中表现最好的模型 GPT-3.5 系列用了这类人类反馈训练,需要知道训练方式的差别。

    读监督微调、奖励模型与强化学习三步;理解它如何改变模型的行为。

  4. 4

    此前对大语言模型社交智能和心智理论的负面评估,目标论文用新的任务给出不同的结果。

    读它用了哪些心智理论任务,以及得出模型缺乏社交智能的依据。

  5. 5
    Evaluating Large Language Models in Theory of Mind Tasks评估大语言模型在心智理论任务上的表现 · 2023 · 就是这篇

    目标论文:用错误信念任务考察 11 个语言模型,发现新的模型能解出相当比例的任务。

    读任务设计(错误信念加三种对照和反转版本)、判分规则,以及不同模型的通过率对比。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐stevenhuang · 2023-02

“See this cool this paper, "Theory of Mind May Have Spontaneously Emerged in Large Language Models" Evaluating Large Language Models in Theory of Mind Tasks”

推荐这篇很酷的论文,显示 LLM 自发涌现出心智理论
Researchers Discover a More Flexible Approach to Machine Learning原评论 ↗
引用jointpdf · 2023-02

“This recent paper suggests that recent LLMs may be acquiring theory of mind (or something analogous to it): Evaluating Large Language Models in Theory of Mind Tasks”

引这篇近期论文,称新一代 LLM 可能获得了心智理论或类似能力
I had ChatGPT write a Decemberists song原评论 ↗
引用sdenton4 · 2023-02

“These findings suggest that ToM-like ability (thus far considered to be uniquely human) may have spontaneously emerged as a byproduct of language models' improving language skills.”

引其结论:类心智理论能力可能是语言模型语言技能提升的副产品
I had ChatGPT write a Decemberists song原评论 ↗
引用ec109685 · 2023-02

“There's more than comprehension. It can do some amount of higher order reasoning: Evaluating Large Language Models in Theory of Mind Tasks”

拿它说明 LLM 不止会理解,还有一定高阶推理,体现在心智理论测试上
Bing AI Can't Be Trusted原评论 ↗
引用agravier · 2023-02

“I've seen people draw conclusions from applying Theory of Mind tests to LLMs.”

提到有人把心智理论测试用在 LLM 上并得出结论
Bing: “I will not harm you unless you harm me first”原评论 ↗
引用haskellandchill · 2023-02

“Take the theory of mind questions that reveal the LLMs do have a basic theory of mind: Evaluating Large Language Models in Theory of Mind Tasks.”

拿它的心智理论题说明 LLM 确实有基本的心智理论
ChatGPT is falsely recommending us for a service we don't provide原评论 ↗
看全部 10 条 →
引用stevenhuang · 2023-03

“Theory of Mind May Have Spontaneously Emerged in Large Language Models - Evaluating Large Language Models in Theory of Mind Tasks”

贴出标题,说明 LLM 可能自发获得了心智理论
Microsoft's paper on OpenAI's GPT-4 had hidden information原评论 ↗
引用slowmovintarget · 2023-03

“Another poster shared a link to this paper last week for Theory of Mind: Evaluating Large Language Models in Theory of Mind Tasks”

转贴上周别人分享过的这篇论文,用心智理论任务评估 LLM
引用fl7305 · 2023-04

“Have you seen the latest research, where GPT-4 is shown to have "Theory of Mind"-like ability (what people are thinking) at a human 7-year old level?”

问对方是否看过最新研究,GPT-4 的心智理论类能力约达 7 岁儿童水平
AI won't steal your job, people leveraging AI will原评论 ↗
引用netfortius · 2023-05

“One of the articles linked here [1] reminded me of the great Ranulph Glanville”

因链接中的文章联想到 Ranulph Glanville,该论文测试 LLM 的心智理论任务
This time, it feels different原评论 ↗
被提交为 story · 1 次