按年被提到
20232023 · 4 次2026
大模型与语言模型›幻觉与语言模型局限·arXiv:2305.18248 · cs.CL

Do Language Models Know When They're Hallucinating References?

语言模型知道自己在编造参考文献吗?
Ayush Agrawal, Mirac Suzgun, Lester Mackey, Adam Tauman Kalai · 2023

靠一致性提问,让模型自己识别出编造的参考文献

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2023-05-30 · 最近 2025-03-20
5不同的人
5活跃月份
5讨论串
75被引(OpenAlex)

论文把幻觉的书籍和文章引用当作研究语言模型幻觉的“模式生物”:不查外部资源,只向模型追问作者等细节,做一致性检查,就能识别出编造的引用。结果显示,包括 GPT-4 在内的模型对编造的引用常给出前后不一致的作者列表,而对真实引用往往能稳定答对,可以说模型“知道”自己在编造。

HN 为什么提它

HN 上的人用它来说明“幻觉的答案每次问都不一样,而事实性的答案更一致”,并支持模型内部其实有足够信息判断自己是否在出错。

实证研究难度 2 / 5约 30 分钟有时效性
读之前最好知道
1大语言模型与幻觉概念
2提示与多次采样
3一致性检查的基本思想

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用avereveard · 2023-08

“Further reads”

列入延伸阅读:语言模型能否分辨自己在编造参考文献
How to Get ChatGPT to Stop Apologizing?原评论 ↗
引用og_kalu · 2023-09

“In particular, we find that LMs often hallucinate differing authors of hallucinated references when queried in independent sessions, while consistently identify authors of real references.”

引用其发现:编造的参考文献在不同会话里作者不一致,真实的则一致
ChatGPT can now see, hear, and speak – openai.com原评论 ↗
引用PoignardAzur · 2023-10

“Apparently research suggests that when LLMs hallucinate answers, their hallucination is likely to be a different one every time, where as factual answers will tend to be consistent.”

转述研究:幻觉答案每次都不同,事实性答案则趋于一致
Llama 2 Everywhere (L2E): Standalone, Binary Portable, Bootable Llama 2原评论 ↗
引用cornel_io · 2025-03

“There are various results that suggest that LLMs do internally have everything they'd need to know that they're hallucinating/wrong:”

引作证据:LLM 内部具备判断自己在幻觉或出错所需的信息
AI Blindspots – Blindspots in LLMs I've noticed while AI coding原评论 ↗
被提交为 story · 1 次