按年被提到
20232024 · 2 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2305.18153 · cs.CL

Do Large Language Models Know What They Don't Know?

大语言模型知道自己不知道什么吗?
Zhangyue Yin, Qiushi Sun, Qipeng Guo, Jiawen Wu, Xipeng Qiu, Xuanjing Huang · 2023

评测 LLM 能否识别无法回答的问题,并提出 SelfAware 数据集。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2023-11-15 · 最近 2024-09-10
3不同的人
3活跃月份
3讨论串
123被引(OpenAlex)

研究 LLM 的“自我认知”(self-knowledge),即能否意识到自己在未知问题上的局限,做法是考察它们识别不可回答或不可知问题的能力。作者提出自动检测模型回答中不确定性的方法,并构建 SelfAware 数据集,包含五类不可回答问题及其可回答的对应问题。对包括 GPT-3、InstructGPT 和 LLaMA 在内的 20 个 LLM 的分析发现,模型内在具备一定的自我认知,情境学习和指令微调可进一步增强,但与人类识别自身知识边界的能力仍有明显差距。

HN 为什么提它

评论者在 2024 年把它当作“更大的模型能够说清自己知识局限”的证据来引用。

实证研究难度 3 / 5约 35 分钟有时效性
读之前最好知道
1大语言模型(LLM)基础
2情境学习与指令微调
3不确定性与校准(calibration)
4问答任务评测

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先补大模型和指令微调的背景,再看模型能否评估自己知道什么的先行研究,最后读 SelfAware 如何测试模型对未知问题的自知。

  1. 1
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    SelfAware 评测的对象是 GPT-3 这类大模型,它也是提示式评测的起点。

    读few-shot 提示的评测方式;了解 GPT-3 家族即可。

  2. 2
    Training language models to follow instructions with human feedback用人类反馈训练语言模型遵循指令 · 2022

    SelfAware 对比了经过指令微调的模型,需要理解指令微调对行为的影响。

    读RLHF 指令微调流程,以及它如何改变模型回答问题的方式。

  3. 3
    LLaMA: Open and Efficient Foundation Language ModelsLLaMA:开放且高效的基础语言模型 · 2023

    LLaMA 是被评测的开放模型之一,用来观察规模与自知能力的关系。

    读模型规模系列的设置;训练细节略读。

  4. 4
    Chain-of-Thought Prompting Elicits Reasoning in Large Language Models思维链提示激发大语言模型的推理能力 · 2022

    思维链是 SelfAware 评估时常用的提示方式之一,用来观察推理是否改善自知。

    读思维链提示的构造与适用情形。

  5. 5
    Language Models (Mostly) Know What They Know语言模型(大体上)知道自己知道什么 · 2022

    直接相关的先行工作:模型能否评估自己答案是否正确,是对自知问题的另一个切入角度。

    读P(True) 与 P(IK) 的定义及校准结果,对照 SelfAware 关注的不可回答问题。

  6. 6
    Do Large Language Models Know What They Don't Know?大语言模型知道自己不知道什么吗? · 2023 · 就是这篇

    目标论文:评测 LLM 能否识别无法回答的问题,并提出 SelfAware 数据集。

    读不可回答问题的分类和数据集构建,以及不同模型的自知得分。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用317070 · 2024-09

“See e.g this recent article [0].”

引作例子:更大的模型能说清自己的能力边界
Is telling a model to "not hallucinate" absurd?原评论 ↗
被提交为 story · 2 次