“it might just be coincidence”
Delving into LLM-assisted writing in biomedical publications through excess vocabulary
分析 1500 万篇摘要的用词突变,估计 2024 年至少 13.5% 经 LLM 处理
作者提出一种无偏的大规模方法:分析 PubMed 收录的 2010–2024 年超过 1500 万篇生物医学摘要的词汇变化,发现 LLM 出现后某些风格词的频率骤增。这种「超额词汇」分析表明 2024 年至少 13.5% 的摘要经过 LLM 处理,这一下界在学科、国家和期刊之间不同,个别子语料可达 40%,影响超过新冠疫情等重大世界事件。
评论者用它说明可以通过词频分析衡量 LLM 的使用:某些词(如 delve)出现得过多,可作为文本由 ChatGPT 写成的一种证据,但有人提醒单个词也可能只是巧合。
学习路径
读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先看如何在大规模文本中估计 LLM 参与程度的前作,再了解 LLM 文本检测(水印)这一互补思路,然后读这篇用超额词汇做的无偏估计。
- 1
同样估计学术文本中 LLM 修改的占比,是本文方法最直接的对照和前作。
读抓住它用分布式估计而非逐篇检测的思路,以及在同行评审中得到的比例。
- 2
代表另一类检测 LLM 文本的路线(生成时加水印),可与本文事后统计的方法对比。
读理解绿色词表偏置采样和统计检验的思路,不用细看实验。
- 3Delving into LLM-assisted writing in biomedical publications through excess vocabulary
目标论文:用 PubMed 摘要中的超额词汇估计 LLM 辅助写作的比例。
读看如何定义超额词、与往年趋势对比,以及 13.5% 下限的估计方式。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“a recent study of academic publications shows that the use of LLMs can be measured through word frequency analysis [1], finding certain words are disproportionally represented”
“EDIT: Delving into LLM-assisted writing in biomedical publications through excess vocabulary”
“The main sources I used are these:”
- Delving into ChatGPT usage in academic writing through excess vocabulary ↗taubek · 2024-06-21 · 2 分
- Delving into ChatGPT usage in academic writing through excess vocabulary ↗zdw · 2024-06-22 · 164 分