按年被提到
20232023 · 3 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2301.05062 · cs.LG

Tracr: Compiled Transformers as a Laboratory for Interpretability

Tracr:把编译出的 Transformer 当作可解释性研究的实验室
David Lindner, János Kramár, Sebastian Farquhar, Matthew Rahtz, Thomas McGrath, Vladimir Mikulik · 2023

把可读程序编译成 Transformer 权重,为可解释性研究提供已知真值。

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2023-02-11 · 最近 2026-11-03
5不同的人
4活跃月份
5讨论串
13被引(OpenAlex)

提出 Tracr 编译器,把人类可读的程序编译成标准的仅解码器(decoder-only)Transformer 模型,使模型结构完全已知。这种已知结构可用来设计实验(例如研究“叠加”superposition),也可作为评估可解释性方法的真值(ground truth)。论文用统计词频、排序、括号检查等程序做了演示,并开源了实现。

HN 为什么提它

评论者把它作为“把程序或代码直接编译进 Transformer 权重、无需训练”这一方向的相关工作来引用。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1Transformer 架构
2机制可解释性(mechanistic interpretability)
3RASP 类程序语言
4叠加(superposition)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐yurimo · 2026-11

“a paper I particularly like: Tracr”

推荐这篇自己特别喜欢的编译式 Transformer 前人工作
Astra can read and write weights to improve Qwen原评论 ↗
引用rslice · 2023-02

“Easy to say obviously but there's some promising work in this direction[1]”

指出把程序编译进 Transformer 权重用于可解释性研究,是一个有前景的方向
Why Can't Little Chatty Do Math?原评论 ↗
引用teddykoker · 2023-09

“Follow on work actually demonstrated how RASP-like programs could actually be compiled into model weights without training [3].”

补充后续工作展示了类 RASP 程序可不经训练直接编译成模型权重
I made a transformer by hand (no training)原评论 ↗
引用nojvek · 2023-12

“See this paper from DeepMind which talks about compiling existing code into transformer primitives Tracr”

推荐这篇 DeepMind 论文,讲把现有代码编译成 Transformer 原语
Phi-2: The surprising power of small language models原评论 ↗
引用syllogism · 2026-11

“Tracr: Compiled Transformers as a Laboratory for Interpretability Tracr (code at [LINK])”

把它当作将规则逻辑编译进 Transformer 权重的前人工作
The 'Astra can read and write weights to improve Qwen' post is misleading原评论 ↗