按年被提到
20242025 · 6 次2026
AI 安全、伦理与社会影响›通用智能与意识·arXiv:2405.08007 · cs.HC

People cannot distinguish GPT-4 from a human in a Turing test

人们无法在图灵测试中区分 GPT-4 与人类
Cameron R. Jones, Benjamin K. Bergen · 2024

预注册图灵测试:GPT-4 被判为人类的比例达 54%

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 12 人首次 2024-05-20 · 最近 2026-05-04
12不同的人
12活跃月份
13讨论串
98被引(OpenAlex)

研究对 ELIZA、GPT-3.5 和 GPT-4 做了随机、对照、预注册的图灵测试:参与者与真人或 AI 进行 5 分钟对话,再判断对方是否为人。GPT-4 被判为人类的比例为 54%,高于 ELIZA 的 22%,但低于真人的 67%;作者称这是首个稳健的实证,表明有人工系统能通过交互式双人图灵测试,而对参与者策略与理由的分析显示,风格和社会情感因素比传统的智能观念更重要。

HN 为什么提它

评论者引用它作为「GPT-4 在图灵测试中被误认为人」的研究,同时指出会话只有 5 分钟、改变规则后仍以 50% 为阈值等问题,也有人借此说图灵测试更多反映人的易受骗。

实证研究难度 2 / 5约 40 分钟有时效性
读之前最好知道
1图灵测试的定义
2大语言模型(GPT-4)
3实验设计与统计显著性
4ELIZA 对话系统

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先从 GPT-3 和关于语言模型是否真正理解的争论建立背景,再读同一作者此前的公开图灵测试,就能理解这次预注册随机对照图灵测试想回答什么。

  1. 1
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    GPT-3.5 和 GPT-4 这条模型线的起点,提供评估对象的背景。

    读大规模语言模型凭少样本提示做任务的能力;只需把握整体结论。

  2. 2

    梳理了学界对大语言模型是否真正理解的争论,是图灵测试结果所要回应的背景。

    读支持与反对大语言模型能理解的两派论点,以及它们各自的依据。

  3. 3
    Does GPT-4 pass the Turing test?GPT-4 能通过图灵测试吗? · 2023

    同一团队此前的公开图灵测试,是目标论文设计预注册实验的直接前身。

    读公开测试的设计、不同提示的通过率,以及它暴露的方法局限。

  4. 4
    People cannot distinguish GPT-4 from a human in a Turing test人们无法在图灵测试中区分 GPT-4 与人类 · 2024 · 就是这篇

    目标论文:用随机对照、预注册的双人图灵测试评估 ELIZA、GPT-3.5 和 GPT-4。

    读实验设计和判定为人类的比例,以及参与者判断时依据的线索。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐acdha · 2025-10

“This is the best one I’ve seen but it has the notable caveat that it’s a relatively short 5 minute chat session:”

称这是见过最好的图灵测试研究,但提醒只有 5 分钟短对话
A definition of AGI原评论 ↗
批评tripletao · 2025-01

“I'm complaining that the paper changed the game so it's no longer a binary choice, but continued to treat the 50% threshold as significant.”

Killed by LLM原评论 ↗
批评tripletao · 2025-04

“That earlier result was because they botched the statistics”

批评早先的图灵测试结果统计有误
UCSD: Large Language Models Pass the Turing Test原评论 ↗
引用ben_w · 2024-09

“humans rated other humans as human only 2/3rds of the time: People cannot distinguish GPT-4 from a human in a Turing test”

引用数据:人类被判为人类的比例只有三分之二
AI and globalisation are shaking up software developers' world原评论 ↗
引用wat10000 · 2024-12

“Here’s a paper: People cannot distinguish GPT-4 from a human in a Turing test”

贴出论文:人们在图灵测试中分不清 GPT-4 和人类
GPT-5 is behind schedule原评论 ↗
引用robkop · 2025-01

“Here's the link for the moment: People cannot distinguish GPT-4 from a human in a Turing test”

贴出链接:人们在图灵测试中无法区分 GPT-4 与人类
Show HN: Killed by LLM – I catalogued AI benchmarks we thought would last years原评论 ↗
看全部 11 条 →
引用FergusArgyll · 2025-02

“The sys prompt given to run the turing test (from People cannot distinguish GPT-4 from a human in a Turing test) actually works well.”

指出论文里跑图灵测试用的 system prompt 效果很好
Modern-Day Oracles or Bullshit Machines? How to thrive in a ChatGPT world原评论 ↗
引用falcor84 · 2025-07

“that ran a randomized study on (the old) GPT 4 with a 5 minute duration”

引它说明有随机对照研究用 5 分钟对话测试旧版 GPT-4
OpenAI's ChatGPT Agent casually clicks through "I am not a robot" verification原评论 ↗
引用coldtea · 2026-02

“That researchers haven't done Turing-test studies (taking the setup from turing and even called them that) is patently false. Including openly testing LLMs:”

反驳研究者没做过图灵测试的说法,以它为例,含公开测试 LLM
Frontier AI agents violate ethical constraints 30–50% of time, pressured by KPIs原评论 ↗
引用stared · 2026-03

“or a prompt for "People cannot distinguish GPT-4 from a human in a Turing test" People cannot distinguish GPT-4 from a human in a Turing test”

用论文标题作提示,指出人们分不清 GPT-4 与人类
CSS Proves Me Human原评论 ↗
引用meinersbur · 2026-05

“the more evidence we get that the Turing Test about human gullibility, rather than saying anything meaningful about the machine”

视为证据:图灵测试反映的是人的轻信,而非机器的能力
Dear Richard Dawkins原评论 ↗
被提交为 story · 2 次