按年被提到
20222023 · 6 次2026
AI 安全、伦理与社会影响›大模型与人类行为·arXiv:2209.06899 · cs.LG

Out of One, Many: Using Language Models to Simulate Human Samples

一变多:用语言模型模拟人类样本
Lisa P. Argyle, Ethan C. Busby, Nancy Fulda, Joshua Gubler, Christopher Rytting, David Wingate · 2022

用 GPT-3 按人口背景设定,模拟不同群体的调查回答

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2022-10-12 · 最近 2024-03-29
6不同的人
5活跃月份
9讨论串
814被引(OpenAlex)

论文提出「算法保真度」:GPT-3 中的「算法偏见」其实是细粒度且与人口特征相关的,只要给予恰当的条件,模型就能模拟各类人群子群体的回答分布。作者用美国多项大型调查中真实参与者的社会人口背景故事作为条件生成「硅样本」,并与真人样本比较,认为语言模型可作为社会科学研究中的人类子群体代理。

HN 为什么提它

评论者引用它说明 LLM 可以按人设背景模拟不同人群的调查回答,用来讨论虚拟民调以及这类模拟是否有效。

实证研究难度 3 / 5约 40 分钟有时效性
读之前最好知道
1大语言模型的提示与条件生成
2问卷调查与抽样方法
3基础统计分析
4算法偏见(algorithmic bias)

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看 Transformer 架构,再看 GPT-3 这类大语言模型为什么能按提示模拟不同回答,最后读目标论文如何用人口背景条件化来模拟人类样本。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    目标论文使用的 GPT-3 就是基于 Transformer 的语言模型。

    读自注意力与自回归解码的基本思路即可,不必深究细节。

  2. 2
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    目标论文研究的正是 GPT-3,并用提示(prompt)给它设定人物背景。

    读少样本提示与上下文条件化的思路,以及训练数据带来的偏见部分的讨论。

  3. 3
    Out of One, Many: Using Language Models to Simulate Human Samples一变多:用语言模型模拟人类样本 · 2022 · 就是这篇

    目标论文:把 GPT-3 当作特定人群的代理,用背景故事条件化来模拟调查回答。

    读先看 silicon sampling(用人口背景生成回答)的设定,再看与真实调查数据的对比指标。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
强烈推荐visarga · 2022-10

“This looks to be one of the most astounding uses of large language models.”

强烈推荐,认为这是大语言模型最惊人的用法之一
A Danish political party led by an AI原评论 ↗
引用visarga · 2022-10

“a virtual poll where the respondents were GPT-3 prompted with personality backstories.”

引它说明用带人设背景的 GPT-3 做虚拟民意调查
GPT-3 can create both sides of an Interactive Fiction transcript原评论 ↗
引用visarga · 2023-01

“Funny thing - the forum works like a language model.”

拿它打趣论坛像语言模型,因为 LM 能模拟一批人设
Lawsuit challenging Stable Diffusion filed against DeviantArt & others原评论 ↗
引用timshell · 2023-07

“Recent academic work ([1], [2]) has suggested that LLMs can effectively simulate different Internet subpopulations.”

引它说明 LLM 可有效模拟互联网上不同的人群
Show HN: Roundtable – Estimating survey results in seconds原评论 ↗
引用timshell · 2023-07

“We use LLMs to produce cheap, yet surprisingly useful, simulations of surveys.”

把它当作用 LLM 模拟调查对象的背景研究
Launch HN: Roundtable (YC S23) – Using AI to Simulate Surveys原评论 ↗
引用og_kalu · 2023-07

“There's been some research in this vain. To answer your question, seemingly very valid.”

引它回答,说明 LLM 模拟的调查样本看起来很有效
Launch HN: Roundtable (YC S23) – Using AI to Simulate Surveys原评论 ↗
看全部 8 条 →
引用og_kalu · 2023-07

“What little research we have of this kind of phenomena points towards this being very valid.”

引它说明已有少量研究表明 LLM 模拟人类样本相当有效
Launch HN: Roundtable (YC S23) – Using AI to Simulate Surveys原评论 ↗
引用og_kalu · 2023-08

“That's why experiments like the below actually work”

引它说明 LLM 能模拟多样的人设,所以这类实验行得通
MetaGPT: Meta Programming for Multi-Agent Collaborative Framework原评论 ↗
被提交为 story · 3 次