按年被提到
20242024 · 4 次2026
AI 安全、伦理与社会影响›大模型与人类行为·arXiv:2403.14380 · cs.CY

On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial

论大语言模型的对话说服力:一项随机对照试验
Francesco Salvi, Manoel Horta Ribeiro, Riccardo Gallotti, Robert West · 2024

预注册随机对照试验:个性化的 GPT-4 在辩论中比人更能说服对手

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2024-03-22 · 最近 2024-07-18
4不同的人
3活跃月份
4讨论串
325被引(OpenAlex)

作者搭建在线辩论平台,将 820 名参与者随机分到人对人、人对 LLM,以及是否提供对方人口统计信息的四种条件。结果显示,能看到对手个人信息的 GPT-4 使对手观点趋同的几率比人类对手高 81.7%;不个性化时 GPT-4 仍略占优,但差异不显著(p=0.31)。作者据此认为个性化说服的担忧有现实意义。

HN 为什么提它

评论者引用它作为 LLM 在对话中比人更具说服力的实验证据,用于讨论 AI 影响舆论的风险。

实证研究难度 2 / 5约 35 分钟有时效性
读之前最好知道
1大语言模型(LLM)基础
2随机对照试验(randomized controlled trial)
3统计显著性与 p 值
4社交媒体与信息治理

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你理解大语言模型的底层架构、GPT-4 的能力与基础模型的社会风险,从而读懂对话说服力实验的背景。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    GPT-4 等大语言模型的基础架构。

    读Transformer 的整体结构;公式细节可略。

  2. 2
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    说明大模型仅凭提示就能完成多种语言任务,包括写作和论证。

    读few-shot 提示与规模带来的能力;有关生成文本被人误认的评测。

  3. 3
    On the Opportunities and Risks of Foundation Models论基础模型的机遇与风险 · 2021

    系统梳理基础模型的社会影响与滥用风险,说服力属于其中的讨论范围。

    读关于滥用、虚假信息和社会影响的部分;不必通读全文。

  4. 4
    Sparks of Artificial General Intelligence: Early experiments with GPT-4通用人工智能的火花:GPT-4 的早期实验 · 2023

    测试 GPT-4 的能力,包括写作和对人的说服,是目标论文使用的模型。

    读GPT-4 在语言能力和心智理论方面的实验。

  5. 5
    On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial论大语言模型的对话说服力:一项随机对照试验 · 2024 · 就是这篇

    目标论文:预注册随机对照试验,比较 GPT-4 与人在辩论中的说服力。

    读实验设计、个性化条件和主要结论。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用throwaway888abc · 2024-04

“[Submitted on 21 Mar 2024] On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial”

贴出论文标题:随机对照试验显示 GPT-4 在辩论中比人更有说服力
GPT-4 is 82% more persuasive than humans, and AIs can now read emotions原评论 ↗
引用FeepingCreature · 2024-04

“We found that participants who debated GPT-4 with access to their personal information had 81.7%”

引用论文结果:GPT-4 获得个人信息后,对手同意的几率提高 81.7%
Hacked Nvidia 4090 GPU driver to enable P2P原评论 ↗
被提交为 story · 2 次