按年被提到
20232024 · 3 次2026
大模型与语言模型›可解释性与表征研究·arXiv:2309.00941 · cs.LG

Emergent Linear Representations in World Models of Self-Supervised Sequence Models

自监督序列模型世界模型中的涌现线性表示
Neel Nanda, Andrew Lee, Martin Wattenberg · 2023

发现 Othello-GPT 的棋盘表示是线性的,可用向量运算操控

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2024-07-21 · 最近 2024-12-19
3不同的人
3活跃月份
3讨论串
80被引(OpenAlex)

此前的工作表明,下 Othello 的神经网络学到了棋盘状态的非线性模型;本文给出与之密切相关的线性表示的证据:只需探测“我方颜色”与“对方颜色”,就能解读模型的内部状态。借助这种精确的理解,还可以用简单的向量运算控制模型行为,并进一步探索世界模型是如何被计算出来的。

HN 为什么提它

在讨论 LLM 是否在内部构建世界模型时,评论者以 OthelloGPT 为例,说明在棋局上训练的 Transformer 会形成棋盘状态的内部表示,而且该表示是线性的。

实证研究难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 语言模型
2机制可解释性(mechanistic interpretability)
3线性探针(linear probe)
4Othello 棋规

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先建立 Transformer、词向量里的线性结构、黑白棋世界模型和“真假方向”的线性表征这几块,再读 Othello-GPT 世界模型其实是线性的这个发现。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    Othello-GPT 是 Transformer,探测与干预都作用于它的残差流和注意力层。

    读理解 Transformer 层结构与残差流;不必深究训练细节。

  2. 2
    Efficient Estimation of Word Representations in Vector Space向量空间中词表示的高效估计 · 2013

    词向量里的线性类比是“概念对应线性方向”这一思想的经典来源。

    读抓住词向量空间中的线性类比现象。

  3. 3
    Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task涌现的世界表征:在合成任务上训练的序列模型 · 2022

    原始 Othello-GPT 工作,本文直接在其上提出线性表示。

    读理解合成任务设定、非线性探针发现的棋盘表示以及干预实验。

  4. 4
    Inference-Time Intervention: Eliciting Truthful Answers from a Language Model推理时干预:从语言模型中引出真实答案 · 2023

    说明可以在推理时沿某个方向平移激活来改变模型行为,与本文用向量运算控制模型的做法一脉相承。

    读抓住用探针找方向再做激活干预的流程。

  5. 5
    The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets真理的几何:LLM 对真假数据集表征中涌现的线性结构 · 2023

    显示 LLM 里真假等概念也有线性方向,是对线性表示假设的同类证据。

    读了解线性探针与因果干预如何共同验证线性结构。

  6. 6
    Emergent Linear Representations in World Models of Self-Supervised Sequence Models自监督序列模型世界模型中的涌现线性表示 · 2023 · 就是这篇

    发现棋盘状态可以用我的颜色与对手颜色的线性方向表示,并用向量算术操控模型。

    读抓住用我的与对手的颜色重新定义探针目标的做法、以及基于线性表示的干预。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐bubblyworld · 2024-07

“The references in that paper are also good reading!”

推荐这篇 OthelloGPT 论文,说它的参考文献也值得读
Large models of what? Mistaking engineering achievements for linguistic agency原评论 ↗
推荐narush · 2024-11

“I’d also recommend checking out Neel Nanda’s work on OthelloGPT, where he demonstrated the world model was actually linear: Emergent Linear Representations in World Models of Self-Supervised Sequence Models”

推荐 Neel Nanda 的 OthelloGPT 工作,它证明了世界模型是线性的
Evaluating the world model implicit in a generative model原评论 ↗
引用mitthrowaway2 · 2024-12

“Deep neural networks (including transformers) trained on board games have been found to develop an internal representation of the board state.”

拿它说明在棋类上训练的 Transformer 会形成棋盘状态的内部表示
Alignment faking in large language models原评论 ↗