按年被提到
20232023 · 3 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2308.03296 · cs.LG

Studying Large Language Model Generalization with Influence Functions

用影响函数研究大语言模型的泛化
Roger Grosse, Juhan Bae, Cem Anil, Nelson Elhage, Alex Tamkin, Amirhossein Tajdini, Benoit Steiner, Dustin Li, Esin Durmus, Ethan Perez, Evan Hubinger, Kamilė Lukošiūtė 等 17 人 · 2023

用 EK-FAC 把影响函数扩展到 520 亿参数模型,追溯输出的训练来源

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-11-05 · 最近 2026-07-24
4不同的人
4活跃月份
4讨论串
86被引(OpenAlex)

影响函数用来回答反事实问题:若把某条序列加入训练集,模型参数及输出会怎样变化,但因逆 Hessian 向量积(IHVP)难算而难以用于大语言模型。作者用 EK-FAC 近似把影响函数扩展到最多 520 亿参数的 LLM,精度与传统估计器相当而 IHVP 计算快几个数量级,并用 TF-IDF 过滤和查询批处理降低候选训练序列的梯度成本。他们借此研究泛化模式,包括影响的稀疏性、随规模增加的抽象性、数学与编程能力、跨语言泛化和角色扮演,并发现一个意外局限:关键短语顺序颠倒时,影响会衰减到接近零。

HN 为什么提它

评论者引用它说明可用影响函数把模型输出追溯到训练数据,并指出更大的模型跨语言泛化知识更强、小模型上的结论不一定适用于大模型。

实证研究难度 5 / 5约 90 分钟经得起时间
读之前最好知道
1影响函数(influence functions)
2Hessian 矩阵与二阶优化
3K-FAC 曲率近似
4Transformer 语言模型训练

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用sebzim4500 · 2023-11

“Anthropic has a recent paper that talks about this [1]. See figure 16 in particular.”

指出 Anthropic 的论文谈过此事,尤其看图 16:越大的模型越能跨语言泛化知识
引用JoshuaDavid · 2023-12

“I think the folks at Anthropic have made a reasonable start with their work[1] on influence functions”

认为 Anthropic 的影响函数工作是个合理的开端,可追溯输出到影响它的训练数据
Googlers cracked an SF rival's tech model with a single word原评论 ↗
引用sebzim4500 · 2023-12

“The problem is that what works on small LLMs does not necessarily scale to larger ones. See page 35 of [1] for example.”

指出小 LLM 上有效的结论未必适用于更大的模型,如论文第 35 页所示
Sorry, but a new prompt for GPT-4 is not a paper原评论 ↗
引用986aignan · 2026-07

“He gives Grosse et al.[2] as a reference for doing so in a scalable manner.”

引 Grosse 等人的论文,作为可扩展地把 LLM 输出追溯到训练数据的方法
Andrew Kelley: Don't Take the Black Pill原评论 ↗
被提交为 story · 1 次