按年被提到
20242025 · 2 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2412.19260 · cs.CL

MEDEC: A Benchmark for Medical Error Detection and Correction in Clinical Notes

MEDEC:临床笔记中医疗错误检测与纠正的基准
Asma Ben Abacha, Wen-wai Yim, Yujuan Fu, Zhaoyi Sun, Meliha Yetisgen, Fei Xia, Thomas Lin · 2024

首个公开的临床笔记医疗错误检测与纠正基准,含 3,848 篇文本

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2025-01-03 · 最近 2026-03-19
3不同的人
3活跃月份
3讨论串
60被引(OpenAlex)

论文指出此前没有研究评估语言模型验证已有或生成医疗文本正确性与一致性的能力,于是推出首个公开基准 MEDEC,涵盖诊断、处置、治疗、药物治疗和病原体五类错误,共 3,848 篇临床文本,其中 488 篇来自三家美国医院系统且此前未被任何 LLM 见过。作者评估了 o1-preview、GPT-4、Claude 3.5 Sonnet、Gemini 2.0 Flash 等模型,并让两位医生完成同样任务;结果显示这些 LLM 检测和纠错表现不错,但仍不及医生。

HN 为什么提它

评论者引用它的并不是基准本身,而是其中对 GPT-4o 等模型规模的估计(约 200B),也有人批评它给出 GPT-4o mini 为 8B 却没有标明来源。

实证研究难度 2 / 5约 40 分钟有时效性
读之前最好知道
1大语言模型(LLM)基础
2临床笔记与医学术语
3基准构建与评估指标

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评simonw · 2025-04

“There's also this paper that mentions 8B but provides no source for that at all”

批评该论文提到 8B 规模却没给任何来源
Llama 4 Smells Bad原评论 ↗
引用jychang · 2026-03

“They all estimate 4o at around 200b.”

拿它作为估计 GPT-4o 参数规模的来源之一
No, it doesn't cost Anthropic $5k per Claude Code user原评论 ↗
被提交为 story · 1 次