引用cma · 2026-08
“in Explaining Attention with Program Synthesis they were able to replace some attention heads with Python programs:”
举例说明它能把部分 attention head 替换成 Python 程序
让 LLM 为注意力头生成 Python 程序,近似并替换神经注意力头
论文提出用可执行程序近似深度网络组件行为的方法,聚焦 Transformer 语言模型的注意力头:先在随机训练样本上计算某个头的注意力矩阵,再把这些矩阵的摘要交给预训练语言模型,要求它生成只依赖输入文本就能复现该注意力模式的 Python 程序,最后按程序在留出输入上的预测效果重新排序。少于 1,000 个生成的程序可以复现 GPT-2、TinyLlama-1.1B 和 Llama-3B 的注意力头模式,在 TinyStories 上平均 IoU 相似度超过 75%;把三个模型 25% 的注意力头换成程序替代品,平均困惑度只上升 16%,且多种下游问答基准表现得以保持。
评论者引用它作为用 Python 程序替换部分注意力头的例子,用来说明模型内部计算可以被可读的代码近似。
“in Explaining Attention with Program Synthesis they were able to replace some attention heads with Python programs:”