批评simonw · 2025-04
“There's also this paper that mentions 8B but provides no source for that at all”
批评该论文提到 8B 规模却没给任何来源
首个公开的临床笔记医疗错误检测与纠正基准,含 3,848 篇文本
论文指出此前没有研究评估语言模型验证已有或生成医疗文本正确性与一致性的能力,于是推出首个公开基准 MEDEC,涵盖诊断、处置、治疗、药物治疗和病原体五类错误,共 3,848 篇临床文本,其中 488 篇来自三家美国医院系统且此前未被任何 LLM 见过。作者评估了 o1-preview、GPT-4、Claude 3.5 Sonnet、Gemini 2.0 Flash 等模型,并让两位医生完成同样任务;结果显示这些 LLM 检测和纠错表现不错,但仍不及医生。
评论者引用它的并不是基准本身,而是其中对 GPT-4o 等模型规模的估计(约 200B),也有人批评它给出 GPT-4o mini 为 8B 却没有标明来源。
“There's also this paper that mentions 8B but provides no source for that at all”
“They all estimate 4o at around 200b.”