“[Submitted on 21 Mar 2024] On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial”
按年被提到
20242024 · 4 次2026
On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial
论大语言模型的对话说服力:一项随机对照试验
Francesco Salvi, Manoel Horta Ribeiro, Riccardo Gallotti, Robert West · 2024
预注册随机对照试验:个性化的 GPT-4 在辩论中比人更能说服对手
被提及 · 4 人首次 2024-03-22 · 最近 2024-07-18
4不同的人
3活跃月份
4讨论串
325被引(OpenAlex)
作者搭建在线辩论平台,将 820 名参与者随机分到人对人、人对 LLM,以及是否提供对方人口统计信息的四种条件。结果显示,能看到对手个人信息的 GPT-4 使对手观点趋同的几率比人类对手高 81.7%;不个性化时 GPT-4 仍略占优,但差异不显著(p=0.31)。作者据此认为个性化说服的担忧有现实意义。
HN 为什么提它
评论者引用它作为 LLM 在对话中比人更具说服力的实验证据,用于讨论 AI 影响舆论的风险。
实证研究难度 2 / 5约 35 分钟有时效性
读之前最好知道
1大语言模型(LLM)基础
2随机对照试验(randomized controlled trial)
3统计显著性与 p 值
4社交媒体与信息治理
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你理解大语言模型的底层架构、GPT-4 的能力与基础模型的社会风险,从而读懂对话说服力实验的背景。
- 1
- 2
说明大模型仅凭提示就能完成多种语言任务,包括写作和论证。
读few-shot 提示与规模带来的能力;有关生成文本被人误认的评测。
- 3
系统梳理基础模型的社会影响与滥用风险,说服力属于其中的讨论范围。
读关于滥用、虚假信息和社会影响的部分;不必通读全文。
- 4
测试 GPT-4 的能力,包括写作和对人的说服,是目标论文使用的模型。
读GPT-4 在语言能力和心智理论方面的实验。
- 5On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial
目标论文:预注册随机对照试验,比较 GPT-4 与人在辩论中的说服力。
读实验设计、个性化条件和主要结论。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用throwaway888abc · 2024-04
贴出论文标题:随机对照试验显示 GPT-4 在辩论中比人更有说服力
引用FeepingCreature · 2024-04
“We found that participants who debated GPT-4 with access to their personal information had 81.7%”
引用论文结果:GPT-4 获得个人信息后,对手同意的几率提高 81.7%
被提交为 story · 2 次
- Study on Persuasiveness of LLMs ↗cataflam · 2024-03-22 · 3 分
- The Conversational Persuasiveness of LLMs: A Randomized Controlled Trial ↗throwaway71271 · 2024-07-18 · 1 分