按年被提到
20232023 · 5 次2026
AI 安全、伦理与社会影响›大模型与人类行为·arXiv:2304.00612 · cs.CL

Eight Things to Know about Large Language Models

关于大语言模型的八件事
Samuel R. Bowman · 2023

概述关于 LLM 的八个出人意料的事实,供政策与学界参考

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2023-04-04 · 最近 2026-08-29
5不同的人
3活跃月份
6讨论串
198被引(OpenAlex)

综述支持八个看似令人意外的论点的证据,包括 LLM 随投入增加可预测地变强、许多能力是意外涌现的、常学到外部世界的表征、没有可靠的行为引导手段、专家尚不能解释其内部机制、人类水平并非性能上限、LLM 不必表达创造者或网络文本的价值观、短暂交互往往有误导性。

HN 为什么提它

HN 上的人把它当作快速了解 LLM 近期出人意料特性的推荐阅读,并用它反驳「LLM 只是随机补全」的看法。

综述难度 2 / 5约 30 分钟有时效性
读之前最好知道
1大语言模型基础
2规模定律(scaling laws)的概念
3提示与微调的基本概念
4模型可解释性的基本概念

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我读懂这篇概览所依托的主要证据:缩放定律、涌现能力、世界表征、人类反馈训练与思维链的忠实性,然后读那八点。

  1. 1
    Scaling Laws for Neural Language Models神经语言模型的缩放定律 · 2020

    对应第一点:LLM 随投入的增加可预测地变强,缩放定律是主要证据。

    读抓损失随参数量、数据量和算力的幂律关系。

  2. 2
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    GPT-3 展示了规模带来的少样本能力,是文中许多论点的出发点。

    读抓少样本、单样本、零样本的设定及规模效应。

  3. 3
    Emergent Abilities of Large Language Models大语言模型的涌现能力 · 2022

    对应第二点:许多重要行为随规模不可预测地涌现。

    读抓涌现能力的定义与例子。

  4. 4
    Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task涌现的世界表征:在合成任务上训练的序列模型 · 2022

    对应关于 LLM 学到外部世界内部表示的论点:在黑白棋上训练的模型涌现出棋盘表征。

    读抓用探针读出棋盘状态与干预实验。

  5. 5
    Training language models to follow instructions with human feedback用人类反馈训练语言模型遵循指令 · 2022

    InstructGPT 是用人类反馈训练和引导 LLM 的代表,对应文中关于操控模型行为的讨论。

    读抓监督微调、奖励模型、PPO 三步流程以及偏好评测结果。

  6. 6
    Chain-of-Thought Prompting Elicits Reasoning in Large Language Models思维链提示激发大语言模型的推理能力 · 2022

    思维链提示是文中论证 LLM 推理能力与行为难以预测的重要例子。

    读抓思维链示例的构造与效果随规模的变化。

  7. 7
    Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting语言模型并不总是说出所想:思维链提示中的不忠实解释 · 2023

    说明思维链解释可能不忠实,对应文中关于难以解释 LLM 内部运作的论点。

    读抓如何通过偏置输入检验解释是否忠实。

  8. 8
    Eight Things to Know about Large Language Models关于大语言模型的八件事 · 2023 · 就是这篇

    目标论文:给出关于 LLM 的八个出人意料的事实。

    读抓八点论断各自引用的证据,以及对政策和研究的含义。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐lhl · 2023-04

“I'd also recommend this recent Sam Bowman article that does a goood job reviewing some of the surprising recent developments/properties of the current crop of LLMs that's pretty fascinating:”

推荐 Sam Bowman 的这篇文章,综述当前 LLM 令人惊讶的近期特性
The LLama Effect: Leak Sparked a Series of Open Source Alternatives to ChatGPT原评论 ↗
引用lhl · 2023-04

“Bowman, Samuel R. "Eight Things to Know about Large Language Models." arXiv preprint arXiv:2304.00612 (2023). Eight Things to Know about Large Language Models.”

在阅读清单中引用,作为关于大语言模型八个要点的来源
GitHub Copilot emits GPL code原评论 ↗
引用Tomte · 2023-11

“This made me think there is more to it than stochastic completion:”

引用它:这些关于 LLM 的惊人事实说明它不只是随机补全
Ask HN: Convince me LLMs aren't just autocomplete with lookahead原评论 ↗
被提交为 story · 3 次