按年被提到
20232023 · 4 次2026
AI 安全、伦理与社会影响›通用智能与意识·arXiv:2310.20216 · cs.AI

Does GPT-4 pass the Turing test?

GPT-4 能通过图灵测试吗?
Cameron R. Jones, Benjamin K. Bergen · 2023

公开图灵测试中,GPT-4 最佳提示通过率 49.7%,低于人类 66%

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2023-11-01 · 最近 2024-06-10
6不同的人
4活跃月份
6讨论串
108被引(OpenAlex)

作者让 GPT-4 参加一场公开的在线图灵测试:表现最好的提示在 49.7% 的对局中被判为人类,高于 ELIZA(22%)和 GPT-3.5(20%),但低于人类参与者的基线(66%)。参与者主要依据语言风格(35%)和社会情感特征(27%)判断;论文也讨论了图灵测试作为智能测试的局限,以及伪装成人类的 AI 可能带来的社会后果。

HN 为什么提它

评论者用它说明 GPT-4 在这种简单、非对抗的图灵测试里也还没有通过;另有评论者提醒论文自己也承认存在较大的方法学问题。

实证研究难度 1 / 5约 35 分钟有时效性
读之前最好知道
1图灵测试
2大语言模型提示(prompting)
3对话评估与实验设计

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评notahacker · 2024-01

“The paper itself is interesting as it covers the limitations (it has big methodological issues)”

AI or Ain't: Eliza原评论 ↗
引用aidaman · 2023-11

“not yet: Does GPT-4 pass the Turing test?”

引用它回答 GPT-4 能否通过图灵测试:还不能
OpenAI Announces Leadership Transition原评论 ↗
引用RandomLensman · 2023-12

“GPT4 might not be great at the Turing test either, it seems (Does GPT-4 pass the Turing test? and that is the simple non-adverserial version of the test).”

引用它说明 GPT-4 连简单的非对抗版图灵测试也未必通过
1960s chatbot ELIZA beat OpenAI's GPT-3.5 in a recent Turing test study原评论 ↗
引用ben_w · 2024-06

“In test environments, players are judged human with these rates:”

引用测试结果:被判为人类的比例,人类 66%、GPT-4 49.7%、ELIZA 22%
AI Hype is completely out of control – especially since ChatGPT-4o [video]原评论 ↗
被提交为 story · 2 次