按年被提到
20242024 · 4 次2026
大模型与语言模型›大模型文本、写作与版权·arXiv:2406.07016 · cs.CL

Delving into LLM-assisted writing in biomedical publications through excess vocabulary

从超额词汇看生物医学出版物中的 LLM 辅助写作
Dmitry Kobak, Rita González-Márquez, Emőke-Ágnes Horvát, Jan Lause · 2024

分析 1500 万篇摘要的用词突变,估计 2024 年至少 13.5% 经 LLM 处理

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2024-06-21 · 最近 2026-06-15
6不同的人
5活跃月份
6讨论串
298被引(OpenAlex)

作者提出一种无偏的大规模方法:分析 PubMed 收录的 2010–2024 年超过 1500 万篇生物医学摘要的词汇变化,发现 LLM 出现后某些风格词的频率骤增。这种「超额词汇」分析表明 2024 年至少 13.5% 的摘要经过 LLM 处理,这一下界在学科、国家和期刊之间不同,个别子语料可达 40%,影响超过新冠疫情等重大世界事件。

HN 为什么提它

评论者用它说明可以通过词频分析衡量 LLM 的使用:某些词(如 delve)出现得过多,可作为文本由 ChatGPT 写成的一种证据,但有人提醒单个词也可能只是巧合。

实证研究难度 2 / 5约 40 分钟有时效性
读之前最好知道
1文本词频与统计基础
2大语言模型的文风特征
3PubMed 摘要数据

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看如何在大规模文本中估计 LLM 参与程度的前作,再了解 LLM 文本检测(水印)这一互补思路,然后读这篇用超额词汇做的无偏估计。

  1. 1
    Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews大规模监测 AI 修改的内容:ChatGPT 对 AI 会议同行评审影响的案例研究 · 2024

    同样估计学术文本中 LLM 修改的占比,是本文方法最直接的对照和前作。

    读抓住它用分布式估计而非逐篇检测的思路,以及在同行评审中得到的比例。

  2. 2
    A Watermark for Large Language Models大语言模型的水印 · 2023

    代表另一类检测 LLM 文本的路线(生成时加水印),可与本文事后统计的方法对比。

    读理解绿色词表偏置采样和统计检验的思路,不用细看实验。

  3. 3
    Delving into LLM-assisted writing in biomedical publications through excess vocabulary从超额词汇看生物医学出版物中的 LLM 辅助写作 · 2024 · 就是这篇

    目标论文:用 PubMed 摘要中的超额词汇估计 LLM 辅助写作的比例。

    读看如何定义超额词、与往年趋势对比,以及 13.5% 下限的估计方式。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用a_bonobo · 2024-07

“it might just be coincidence”

认为 delves 用词过多只是弱证据,可能只是巧合
Diving into deep learning: Understanding Deep Learning book review [pdf]原评论 ↗
引用wietze · 2024-08

“a recent study of academic publications shows that the use of LLMs can be measured through word frequency analysis [1], finding certain words are disproportionally represented”

引它说明可用词频分析衡量 LLM 的使用,某些词被过度使用
Ask HN: Why does ChatGPT love the word "eager" so much?原评论 ↗
引用2025codecracker · 2026-01

“EDIT: Delving into LLM-assisted writing in biomedical publications through excess vocabulary”

补充论文:delve 等词的超额使用提示论文由 LLM 参与写作
Ask HN: How can you instantly tell something was written by AI?原评论 ↗
引用gabceboli · 2026-06

“The main sources I used are these:”

列为主要资料来源:超额词汇暴露生物医学论文的 LLM 辅助写作
Show HN: Isitslop.xyz, a free AI-writing detector built on latest research原评论 ↗
被提交为 story · 2 次