按年被提到
20232023 · 3 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2306.03341 · cs.LG

Inference-Time Intervention: Eliciting Truthful Answers from a Language Model

推理时干预:从语言模型中引出真实答案
Kenneth Li, Oam Patel, Fernanda Viégas, Hanspeter Pfister, Martin Wattenberg · 2023

推理时平移少数注意力头的激活,提升 LLM 的真实性

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2023-06-08 · 最近 2025-08-03
6不同的人
4活跃月份
6讨论串
184被引(OpenAlex)

提出推理时干预(ITI):在推理过程中沿一组方向平移少数注意力头的激活,显著提升 LLaMA 在 TruthfulQA 上的表现,Alpaca 的真实性从 32.5% 升到 65.1%。作者发现真实性与有用性之间存在权衡,可通过调节干预强度来平衡;方法只需几百个样本来定位「真实」方向,计算开销小。结果提示 LLM 内部可能已表示了「某事为真的可能性」,即使表面输出的是错误内容。

HN 为什么提它

HN 评论者引用它说明 LLM 内部可能「知道」答案却没有说出来,并且可以通过干预内部机制引出真实答案。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1Transformer 与注意力头(attention head)
2线性探针(linear probing)
3TruthfulQA 基准
4指令微调与 RLHF

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐skhameneh · 2025-08

“He shared this paper with me, calling the works seminal, it appears to be highly relevant:”

转述有人称其为开创性工作,并认为与蒸馏高度相关
Persona vectors: Monitoring and controlling character traits in language models原评论 ↗
引用cubefox · 2023-06

“Our findings suggest that LLMs may have an internal representation of the likelihood of something being true, even as they produce falsehoods on the surface.”

引用其发现:LLM 内部可能表示了真实的可能性,即便表面上输出假话
Stochastic Parrot原评论 ↗
引用astrange · 2024-04

“No, the sampling algorithm you used to query the LLM does that. Not the model itself.”

反驳对方,认为问题出在采样算法而非模型,并引它为例
The question that no LLM can answer and why it is important原评论 ↗
引用agucova · 2024-07

“we can even intervene these internal mechanisms to elicit true answers from a model”

引用它说明甚至可以干预这些内部机制,引出模型的真实答案
ChatGPT Isn't 'Hallucinating'–It's Bullshitting – Scientific American原评论 ↗
被提交为 story · 2 次