引用mike_hearn · 2024-12
“Linking to this paper: LLMs Know More Than They Show”
贴出论文:LLM 内部状态编码的真实性信息比以往认识的更多
LLM 内部状态编码了真实性信息,却未必体现在输出里
论文表明 LLM 的内部表征包含比此前认识更多的真实性信息:这些信息集中在特定 token 上,利用它能显著提升错误检测。但这类检测器无法跨数据集泛化,说明真实性编码并非通用而是多面的;内部表征还可用于预测模型可能犯的错误类型。作者还发现模型可能在内部编码了正确答案,却持续输出错误答案。
评论者用它说明幻觉信号其实已存在于模型内部、研究者能读出,但模型自己并不能利用这些信号。
“Linking to this paper: LLMs Know More Than They Show”
“it is effectively in there, and researchers can see it and therefore score it, but it is not something the LLM can use.”