“The references in that paper are also good reading!”
Emergent Linear Representations in World Models of Self-Supervised Sequence Models
发现 Othello-GPT 的棋盘表示是线性的,可用向量运算操控
此前的工作表明,下 Othello 的神经网络学到了棋盘状态的非线性模型;本文给出与之密切相关的线性表示的证据:只需探测“我方颜色”与“对方颜色”,就能解读模型的内部状态。借助这种精确的理解,还可以用简单的向量运算控制模型行为,并进一步探索世界模型是如何被计算出来的。
在讨论 LLM 是否在内部构建世界模型时,评论者以 OthelloGPT 为例,说明在棋局上训练的 Transformer 会形成棋盘状态的内部表示,而且该表示是线性的。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先建立 Transformer、词向量里的线性结构、黑白棋世界模型和“真假方向”的线性表征这几块,再读 Othello-GPT 世界模型其实是线性的这个发现。
- 1
Othello-GPT 是 Transformer,探测与干预都作用于它的残差流和注意力层。
读理解 Transformer 层结构与残差流;不必深究训练细节。
- 2
词向量里的线性类比是“概念对应线性方向”这一思想的经典来源。
读抓住词向量空间中的线性类比现象。
- 3
原始 Othello-GPT 工作,本文直接在其上提出线性表示。
读理解合成任务设定、非线性探针发现的棋盘表示以及干预实验。
- 4
说明可以在推理时沿某个方向平移激活来改变模型行为,与本文用向量运算控制模型的做法一脉相承。
读抓住用探针找方向再做激活干预的流程。
- 5
显示 LLM 里真假等概念也有线性方向,是对线性表示假设的同类证据。
读了解线性探针与因果干预如何共同验证线性结构。
- 6Emergent Linear Representations in World Models of Self-Supervised Sequence Models
发现棋盘状态可以用我的颜色与对手颜色的线性方向表示,并用向量算术操控模型。
读抓住用我的与对手的颜色重新定义探针目标的做法、以及基于线性表示的干预。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“I’d also recommend checking out Neel Nanda’s work on OthelloGPT, where he demonstrated the world model was actually linear: Emergent Linear Representations in World Models of Self-Supervised Sequence Models”
“Deep neural networks (including transformers) trained on board games have been found to develop an internal representation of the board state.”