按年被提到
20222023 · 4 次2026
大模型与语言模型›可解释性与表征研究·arXiv:2202.05262 · cs.CL

Locating and Editing Factual Associations in GPT

定位并编辑 GPT 中的事实关联
Kevin Meng, David Bau, Alex Andonian, Yonatan Belinkov · 2022

用因果干预定位事实存储位置,并以秩一更新(ROME)改写事实

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2023-02-23 · 最近 2026-07-12发表于 neural information processing systems
6不同的人
6活跃月份
6讨论串
234被引(OpenAlex)

作者分析自回归 Transformer 如何存储和回忆事实关联,用因果干预找出决定事实预测的神经元激活,发现这些计算集中在处理主语 token 时的中间层前馈模块。据此提出秩一模型编辑(ROME),通过修改前馈权重来更新特定事实;在 zsRE 编辑任务上与现有方法相当,在新的反事实断言数据集上同时保持特异性与泛化。

HN 为什么提它

评论者把它当作「直接编辑 LLM 中事实」的代表方法(ROME)来引用,并用它说明前馈层像键值存储,以及模型如何存储信息的假设与实验证据。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 与前馈(MLP)层
2因果干预与中介分析
3模型编辑(model editing)
4键值记忆(key-value memory)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用nl · 2023-02

“Locating and Editing Factual Associations in GPT shows an approach to editing a LLM to edit facts.”

指出它展示了一种编辑 LLM 以修改事实的方法
ChatGPT is falsely recommending us for a service we don't provide原评论 ↗
引用KhoomeiK · 2023-10

“The title made me think this was an approach that used memory editing techniques (e.g. ROME [1])”

看标题以为用了 ROME 这类记忆编辑技术
MemGPT – LLMs with self-editing memory for unbounded context原评论 ↗
引用numeri · 2023-11

“The ROME paper[1], among others, shows that the feed-forward layers function as a key-value store”

引用 ROME 等论文说明前馈层相当于键值存储
Is the reversal curse in LLMs real?原评论 ↗
引用filterfiber · 2023-12

“I completely forgot to mention ROME in my last comment, where you can modify facts within an LLM Locating and Editing Factual Associations in GPT”

补充提到 ROME:可以直接修改 LLM 里存储的事实
What Is Retrieval-Augmented Generation a.k.a. RAG?原评论 ↗
引用killerstorm · 2024-05

“Another paper ("ROME") Locating and Editing Factual Associations in GPT formulates hypothesis over how these models store information, and provide experimental evidence.”

提到 ROME 论文:它对模型如何存储信息提出假说并给出实验证据
Llama3 implemented from scratch原评论 ↗
引用stalfie · 2026-07

“Sure, here are some citations:”

把它列入引用清单,指它在 GPT 中定位事实关联
AI 2040: Plan A原评论 ↗