“Oh, I mistook this paper for the one that was released more recently from DeepMind + Google.”
Large Language Models Encode Clinical Knowledge
提出 MultiMedQA 基准,并用指令提示微调得到 Med-PaLM
论文提出 MultiMedQA 基准(整合六个现有开放问答数据集)和新的自由回答数据集 HealthSearchQA,并给出从事实性、精确性、潜在危害和偏见等多个维度进行人工评估的框架。Flan-PaLM 在所有 MultiMedQA 选择题数据集上达到当时最优,在 MedQA(美国医师执照考试题)上准确率为 67.6%,超过此前最优 17% 以上,但人工评估显示其回答仍有关键差距。作者为此引入参数高效的指令提示微调(instruction prompt tuning)得到 Med-PaLM,其表现令人鼓舞但仍不及临床医生。
HN 上的人把它当作 Med-PaLM 的出处和医学问答的比较基线来讨论,并指出论文的大部分基准结果其实是 Flan-PaLM 540B 的。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我建立大语言模型的少样本提示、PaLM 与指令微调、思维链与自洽性,以及 MMLU 等评测基准,用来读懂 Med-PaLM 的构建与评测思路。
- 1
- 2
- 3
Flan-PaLM 是目标论文使用的指令微调模型,提示策略都在它上面试验。
读指令微调的任务混合,以及加入思维链数据的效果。
- 4
目标论文试验了思维链提示。
读思维链示例的构造,以及它在推理类任务上带来的变化。
- 5
目标论文用自洽性来提升答案质量。
读采样多条推理路径后多数表决的做法。
- 6
MultiMedQA 中包含 MMLU 的临床相关科目,需要了解这类多选评测。
读多选评测的构成与打分方式,尤其是医学相关的学科。
- 7Large Language Models Encode Clinical Knowledge
目标论文:提出 MultiMedQA 基准,并通过指令提示微调得到 Med-PaLM。
读基准的组成、人工评估的维度,以及指令提示微调的做法。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“It seems like the models in the paper could pass USMLE already.”
“I understand Med-PaLM the current state of the art and would be a natural point of comparison.”
“the paper announcing Med-PaLM does not report many benchmark results on Med-PaLM and is instead mostly about Flan-PaLM 540B”
- Large Language Models Encode Clinical Knowledge ↗tosh · 2022-12-27 · 1 分
- Large Language Models Encode Clinical Knowledge ↗lavishlatern · 2023-01-03 · 2 分
- Large Language Models Encode Clinical Knowledge ↗Thebroser · 2023-01-04 · 1 分
- Large Language Models Encode Clinical Knowledge ↗bookofjoe · 2023-01-10 · 1 分
- Large Language Models Encode Clinical Knowledge ↗taubek · 2023-01-11 · 1 分