引用sebzim4500 · 2023-11
“Anthropic has a recent paper that talks about this [1]. See figure 16 in particular.”
指出 Anthropic 的论文谈过此事,尤其看图 16:越大的模型越能跨语言泛化知识
用 EK-FAC 把影响函数扩展到 520 亿参数模型,追溯输出的训练来源
影响函数用来回答反事实问题:若把某条序列加入训练集,模型参数及输出会怎样变化,但因逆 Hessian 向量积(IHVP)难算而难以用于大语言模型。作者用 EK-FAC 近似把影响函数扩展到最多 520 亿参数的 LLM,精度与传统估计器相当而 IHVP 计算快几个数量级,并用 TF-IDF 过滤和查询批处理降低候选训练序列的梯度成本。他们借此研究泛化模式,包括影响的稀疏性、随规模增加的抽象性、数学与编程能力、跨语言泛化和角色扮演,并发现一个意外局限:关键短语顺序颠倒时,影响会衰减到接近零。
评论者引用它说明可用影响函数把模型输出追溯到训练数据,并指出更大的模型跨语言泛化知识更强、小模型上的结论不一定适用于大模型。
“Anthropic has a recent paper that talks about this [1]. See figure 16 in particular.”
“I think the folks at Anthropic have made a reasonable start with their work[1] on influence functions”
“The problem is that what works on small LLMs does not necessarily scale to larger ones. See page 35 of [1] for example.”
“He gives Grosse et al.[2] as a reference for doing so in a scalable manner.”