“See e.g this recent article [0].”
Do Large Language Models Know What They Don't Know?
评测 LLM 能否识别无法回答的问题,并提出 SelfAware 数据集。
研究 LLM 的“自我认知”(self-knowledge),即能否意识到自己在未知问题上的局限,做法是考察它们识别不可回答或不可知问题的能力。作者提出自动检测模型回答中不确定性的方法,并构建 SelfAware 数据集,包含五类不可回答问题及其可回答的对应问题。对包括 GPT-3、InstructGPT 和 LLaMA 在内的 20 个 LLM 的分析发现,模型内在具备一定的自我认知,情境学习和指令微调可进一步增强,但与人类识别自身知识边界的能力仍有明显差距。
评论者在 2024 年把它当作“更大的模型能够说清自己知识局限”的证据来引用。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先补大模型和指令微调的背景,再看模型能否评估自己知道什么的先行研究,最后读 SelfAware 如何测试模型对未知问题的自知。
- 1
SelfAware 评测的对象是 GPT-3 这类大模型,它也是提示式评测的起点。
读few-shot 提示的评测方式;了解 GPT-3 家族即可。
- 2
SelfAware 对比了经过指令微调的模型,需要理解指令微调对行为的影响。
读RLHF 指令微调流程,以及它如何改变模型回答问题的方式。
- 3
LLaMA 是被评测的开放模型之一,用来观察规模与自知能力的关系。
读模型规模系列的设置;训练细节略读。
- 4
思维链是 SelfAware 评估时常用的提示方式之一,用来观察推理是否改善自知。
读思维链提示的构造与适用情形。
- 5
直接相关的先行工作:模型能否评估自己答案是否正确,是对自知问题的另一个切入角度。
读P(True) 与 P(IK) 的定义及校准结果,对照 SelfAware 关注的不可回答问题。
- 6Do Large Language Models Know What They Don't Know?
目标论文:评测 LLM 能否识别无法回答的问题,并提出 SelfAware 数据集。
读不可回答问题的分类和数据集构建,以及不同模型的自知得分。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及- Do Large Language Models Know What They Don't Know? ↗wseqyrku · 2023-11-15 · 2 分
- Do Large Language Models Know What They Don't Know? ↗Bluestein · 2024-08-17 · 3 分