按年被提到
20222023 · 7 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2212.03827 · cs.CL

Discovering Latent Knowledge in Language Models Without Supervision

无监督地发现语言模型中的潜在知识
Collin Burns, Haotian Ye, Dan Klein, Jacob Steinhardt · 2022

在激活空间中无监督找出符合逻辑一致性的“真”方向

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2022-12-09 · 最近 2023-03-15
7不同的人
4活跃月份
9讨论串
157被引(OpenAlex)

论文提出一种只用无标注的模型内部激活回答是非问题的方法:在激活空间里寻找满足逻辑一致性的方向,例如一个陈述与其否定的真值相反。该方法不用监督信号,也不用模型输出,在 6 个模型和 10 个问答数据集上平均比零样本准确率高 4%,把对提示的敏感度降低一半,即使模型被提示生成错误答案也能保持较高准确率。结果初步表明可以区分模型知道什么与模型说了什么。

HN 为什么提它

HN 上的人在谈幻觉和模型是否有事实概念时提它,说明可以通过读取模型内部激活而不是直接提问来判断模型认为什么是真的。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 与隐藏层激活
2线性探针(linear probing)
3对齐与 RLHF 基础
4无监督学习

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐visarga · 2023-01

“This actually works better than asking the model to self evaluate by text generation, or training with RLHF.”

推荐它,称这种潜在真值探针比让模型自评或 RLHF 更有效
ChatRWKV, like ChatGPT but powered by the RWKV (RNN-based, open) language model原评论 ↗
推荐jimrandomh · 2023-02

“A few recent favorites of mine: Discovering Latent Knowledge in Language Models Without Supervision [LINK]”

把它列为自己近期最喜欢的对齐论文之一
Microsoft Adds ChatGPT AI Technology to Bing Search Engine原评论 ↗
推荐numeri · 2023-02

“As for the existence of a concept of factuality, I found this paper[1] very interesting.”

推荐它,其无监督方法能找出内部事实激活,且不受误导性提示影响
ChatGPT is falsely recommending us for a service we don't provide原评论 ↗
引用astrange · 2022-12

“Apparently you can avoid hallucination by basically reading the model’s mind instead of asking it questions.”

拿它说明读取模型内部“想法”而非提问,也许能避免幻觉
AlphaCode Attention Visualization原评论 ↗
引用visarga · 2023-02

“Google hasn't been able to solve it in the last decade, but some people have an idea:”

指出 Google 十年没解决的问题,有人提出了从 LM 激活中找潜在真值的方法
ArxivGPT: Chrome extension that summarizes arxived research papers using ChatGPT原评论 ↗
引用nl · 2023-02

“Discovering Latent Knowledge in Language Models Without Supervision shows an unsupervised approach for probing a LLM to discover things it thinks are facts”

介绍它用无监督探测找出 LLM 内部当作事实的内容
ChatGPT is falsely recommending us for a service we don't provide原评论 ↗
看全部 8 条 →
引用visarga · 2023-03

“They find a direction in activation space that satisfies logical consistency properties, such as that a statement and its negation have opposite truth values.”

解释它在激活空间里找满足逻辑一致性的方向,如命题与其否定真值相反
AI is making it easier to create more noise, when all I want is good search原评论 ↗
引用visarga · 2023-03

“There is a paper showing you can infer when the model is telling the truth by finding a direction in activation space”

拿它说明在激活空间找一个方向就能推断模型是否在说真话
Generative AI is overrated, long live old-school AI原评论 ↗
被提交为 story · 2 次