按年被提到
20222023 · 7 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2212.13138 · cs.CL

Large Language Models Encode Clinical Knowledge

大语言模型编码了临床知识
Karan Singhal, Shekoofeh Azizi, Tao Tu, S. Sara Mahdavi, Jason Wei, Hyung Won Chung, Nathan Scales, Ajay Tanwani, Heather Cole-Lewis, Stephen Pfohl, Perry Payne, Martin Seneviratne 等 30 人 · 2022

提出 MultiMedQA 基准,并用指令提示微调得到 Med-PaLM

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 9 人首次 2022-12-27 · 最近 2023-03-31
9不同的人
3活跃月份
8讨论串
4,404被引(OpenAlex)

论文提出 MultiMedQA 基准(整合六个现有开放问答数据集)和新的自由回答数据集 HealthSearchQA,并给出从事实性、精确性、潜在危害和偏见等多个维度进行人工评估的框架。Flan-PaLM 在所有 MultiMedQA 选择题数据集上达到当时最优,在 MedQA(美国医师执照考试题)上准确率为 67.6%,超过此前最优 17% 以上,但人工评估显示其回答仍有关键差距。作者为此引入参数高效的指令提示微调(instruction prompt tuning)得到 Med-PaLM,其表现令人鼓舞但仍不及临床医生。

HN 为什么提它

HN 上的人把它当作 Med-PaLM 的出处和医学问答的比较基线来讨论,并指出论文的大部分基准结果其实是 Flan-PaLM 540B 的。

实证研究难度 3 / 5约 60 分钟有时效性
读之前最好知道
1大语言模型(LLM)与 PaLM
2提示工程与指令微调
3医学问答基准(MedQA 等)
4人工评估方法

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立大语言模型的少样本提示、PaLM 与指令微调、思维链与自洽性,以及 MMLU 等评测基准,用来读懂 Med-PaLM 的构建与评测思路。

  1. 1
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    少样本提示是目标论文中提示方法的基础。

    读上下文学习的概念和少样本评测方式。

  2. 2
    PaLM: Scaling Language Modeling with PathwaysPaLM:用 Pathways 扩展语言模型 · 2022

    Med-PaLM 是在 PaLM 的基础上构建的。

    读模型规模和在问答类基准上的表现,只需大致了解。

  3. 3
    Scaling Instruction-Finetuned Language Models扩展指令微调语言模型 · 2022

    Flan-PaLM 是目标论文使用的指令微调模型,提示策略都在它上面试验。

    读指令微调的任务混合,以及加入思维链数据的效果。

  4. 4
    Chain-of-Thought Prompting Elicits Reasoning in Large Language Models思维链提示激发大语言模型的推理能力 · 2022

    目标论文试验了思维链提示。

    读思维链示例的构造,以及它在推理类任务上带来的变化。

  5. 5
    Self-Consistency Improves Chain of Thought Reasoning in Language Models自洽性提升语言模型的思维链推理 · 2022

    目标论文用自洽性来提升答案质量。

    读采样多条推理路径后多数表决的做法。

  6. 6
    Measuring Massive Multitask Language Understanding度量大规模多任务语言理解(MMLU) · 2020

    MultiMedQA 中包含 MMLU 的临床相关科目,需要了解这类多选评测。

    读多选评测的构成与打分方式,尤其是医学相关的学科。

  7. 7
    Large Language Models Encode Clinical Knowledge大语言模型编码了临床知识 · 2022 · 就是这篇

    目标论文:提出 MultiMedQA 基准,并通过指令提示微调得到 Med-PaLM。

    读基准的组成、人工评估的维度,以及指令提示微调的做法。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用rafaelero · 2022-12

“Oh, I mistook this paper for the one that was released more recently from DeepMind + Google.”

承认把这篇误当成 DeepMind 与 Google 最近发布的那篇
Can large language models reason about medical questions?原评论 ↗
引用nopinsight · 2023-01

“It seems like the models in the paper could pass USMLE already.”

指出论文中的模型似乎已能通过 USMLE
GPT-4 could pass Bar Exam, AI researchers say原评论 ↗
引用aix1 · 2023-03

“I understand Med-PaLM the current state of the art and would be a natural point of comparison.”

把 Med-PaLM 当作当前最佳水平和自然的比较对象
Capabilities of GPT-4 on Medical Challenge Problems原评论 ↗
引用FlyingLawnmower · 2023-03

“the paper announcing Med-PaLM does not report many benchmark results on Med-PaLM and is instead mostly about Flan-PaLM 540B”

指出 Med-PaLM 论文报告的 Med-PaLM 基准结果不多,主要是 Flan-PaLM 540B
Capabilities of GPT-4 on Medical Challenge Problems原评论 ↗
被提交为 story · 5 次