“This looks to be one of the most astounding uses of large language models.”
Out of One, Many: Using Language Models to Simulate Human Samples
用 GPT-3 按人口背景设定,模拟不同群体的调查回答
论文提出「算法保真度」:GPT-3 中的「算法偏见」其实是细粒度且与人口特征相关的,只要给予恰当的条件,模型就能模拟各类人群子群体的回答分布。作者用美国多项大型调查中真实参与者的社会人口背景故事作为条件生成「硅样本」,并与真人样本比较,认为语言模型可作为社会科学研究中的人类子群体代理。
评论者引用它说明 LLM 可以按人设背景模拟不同人群的调查回答,用来讨论虚拟民调以及这类模拟是否有效。
学习路径
读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先看 Transformer 架构,再看 GPT-3 这类大语言模型为什么能按提示模拟不同回答,最后读目标论文如何用人口背景条件化来模拟人类样本。
- 1
- 2
目标论文研究的正是 GPT-3,并用提示(prompt)给它设定人物背景。
读少样本提示与上下文条件化的思路,以及训练数据带来的偏见部分的讨论。
- 3Out of One, Many: Using Language Models to Simulate Human Samples
目标论文:把 GPT-3 当作特定人群的代理,用背景故事条件化来模拟调查回答。
读先看 silicon sampling(用人口背景生成回答)的设定,再看与真实调查数据的对比指标。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“a virtual poll where the respondents were GPT-3 prompted with personality backstories.”
“Funny thing - the forum works like a language model.”
“Recent academic work ([1], [2]) has suggested that LLMs can effectively simulate different Internet subpopulations.”
“We use LLMs to produce cheap, yet surprisingly useful, simulations of surveys.”
“There's been some research in this vain. To answer your question, seemingly very valid.”
看全部 8 条 →
- Using Language Models to Simulate Human Samples ↗romaintailhurat · 2022-10-12 · 2 分
- Out of One, Many: Using Language Models to Simulate Human Samples ↗walterbell · 2022-10-13 · 2 分
- Out of One, Many: Using Language Models to Simulate Human Samples (2022) ↗rntn · 2024-03-29 · 2 分