按年被提到
20232024 · 6 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2304.13734 · cs.CL

The Internal State of an LLM Knows When It's Lying

LLM 的内部状态知道它何时在说谎
Amos Azaria, Tom Mitchell · 2023

用 LLM 隐藏层激活训练分类器,判断陈述真假的准确率为 71% 到 83%

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 9 人首次 2023-05-01 · 最近 2026-02-06
9不同的人
9活跃月份
12讨论串
280被引(OpenAlex)

论文提供证据表明 LLM 的内部状态可以揭示陈述的真实性,既包括提供给模型的陈述,也包括模型自己生成的陈述。方法是训练一个分类器,根据 LLM 读取或生成陈述时的隐藏层激活,输出该陈述为真的概率;在一半真一半假的测试句子上,分类器的平均准确率因基础模型不同在 71% 到 83% 之间。作者还发现 LLM 赋予句子的概率虽与真实性相关,但也依赖句子长度和词频,因此训练出的分类器是更可靠的真实性检测方法。

HN 为什么提它

HN 上的人反复引用它作为 LLM 内部其实知道自己何时在幻觉或瞎猜、对不确定性的了解多于其输出所表达的证据,也有人质疑它到底测了什么。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1Transformer 与隐藏层激活
2探针分类器(probing classifier)
3LLM 幻觉问题
4句子概率与困惑度

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先建立大模型与幻觉问题的背景,再看无监督地从激活里找真假方向的工作,最后读用隐藏层激活训练分类器判断真伪。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    被探测的语言模型的基础架构,隐藏层激活来自这里

    读各层的残差流与前馈层结构,了解隐藏层激活是什么

  2. 2
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    大语言模型能力与规模的代表,目标论文讨论的对象

    读上下文学习的概念与模型规模的影响

  3. 3

    目标论文使用的开源大模型家族,便于读取隐藏层

    读模型规模系列与可公开获取的设置

  4. 4
    Survey of Hallucination in Natural Language Generation自然语言生成中的幻觉综述 · 2022

    系统梳理语言模型幻觉问题,是目标论文的动机

    读幻觉的分类、度量与缓解方法,建立问题框架

  5. 5
    Discovering Latent Knowledge in Language Models Without Supervision无监督地发现语言模型中的潜在知识 · 2022

    同样从激活中寻找真值方向,但不需要监督

    读利用逻辑一致性在激活空间找真方向的做法,对比有监督分类器

  6. 6

    用外部知识和自动反馈缓解幻觉,代表另一类缓解思路

    读外部知识检索加反馈迭代的流程,对比读内部状态的检测

  7. 7
    The Internal State of an LLM Knows When It's LyingLLM 的内部状态知道它何时在说谎 · 2023 · 就是这篇

    目标论文:用隐藏层激活训练分类器判断陈述真假

    读数据集构造、取哪一层的激活,以及分类器在新主题上的准确率

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评Animats · 2024-09

“not entirely clear what they measured and whether what they measured is useful.”

批评:不清楚论文到底测量了什么,也不清楚测量结果是否有用
Is telling a model to "not hallucinate" absurd?原评论 ↗
引用avereveard · 2023-08

“Further reads”

列入延伸阅读,讨论 LLM 是否在内部知道自己错了
How to Get ChatGPT to Stop Apologizing?原评论 ↗
引用og_kalu · 2023-09

“LLMs internally know when they are hallucinating/taking a wild guess.”

引用它:LLM 内部知道自己在幻觉或瞎猜
ChatGPT can now see, hear, and speak – openai.com原评论 ↗
引用verdverm · 2024-05

“One such example: The Internal State of an LLM Knows When It's Lying”

举它为例:LLM 的内部状态能揭示它何时在说谎
Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet原评论 ↗
引用sanxiyn · 2024-08

“published last year: The Internal State of an LLM Knows When It's Lying”

指出这篇论文去年就已发表,是“内部状态揭示说谎”这一说法的原始来源
LLMs know more than what they say原评论 ↗
引用famouswaffles · 2024-09

“LLMs know a whole lot more about the uncertainty of their predictions than they say.”

引用为证据:LLM 对自己预测不确定性的了解远多于它们说出来的
AI is growing faster than companies can secure it, warn industry leaders原评论 ↗
看全部 9 条 →
引用famouswaffles · 2024-09

“LLMs internally know a lot more about the uncertainty and factualness of their predictions than they say.”

引用为证据:LLM 内部清楚自己预测的不确定性和真实性,远多于它们说出来的
GPTs and Hallucination原评论 ↗
引用famouswaffles · 2024-10

“The Internal State of an LLM Knows When It's Lying - The Internal State of an LLM Knows When It's Lying”

把它列为 LLM 内部状态方面的相关工作
LLMs know more than they show: On the intrinsic representation of hallucinations原评论 ↗
引用pixl97 · 2026-02

“LLMs have an inner/internal state.”

论证 LLM 有内部状态,能反映模型何时在说谎
Psychometric Jailbreaks Reveal Internal Conflict in Frontier Models原评论 ↗
被提交为 story · 3 次