按年被提到
20242024 · 6 次2026
大模型与语言模型›对话式大模型·arXiv:2403.07183 · cs.CL

Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews

大规模监测 AI 修改的内容:ChatGPT 对 AI 会议同行评审影响的案例研究
Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A. McFarland, James Y. Zou · 2024

估计同行评审中被大模型改写的文本比例,约为 6.5% 到 16.9%

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2024-03-18 · 最近 2026-06-15
7不同的人
4活跃月份
7讨论串
168被引(OpenAlex)

论文提出一种估计大型语料中有多大比例文本可能被大语言模型实质性修改或生成的方法:用最大似然模型,借助专家撰写与 AI 生成的参照文本,在语料层面高效检验现实中的 LLM 使用。作者把它应用到 ChatGPT 发布后的 AI 会议同行评审(ICLR 2024、NeurIPS 2023、CoRL 2023、EMNLP 2023),估计这些评审中有 6.5% 到 16.9% 的文本可能被 LLM 实质性修改,超出拼写检查或轻微润色。AI 文本在置信度较低、临近截止日提交、以及较少回应作者反驳的审稿人的评审中占比更高,并讨论了对同行评审的影响。

HN 为什么提它

HN 上的人引用它说明同行评审中已经普遍使用 ChatGPT,并常提到它指出的 commendable、intricate、meticulous 等词的使用量激增。

实证研究难度 2 / 5约 40 分钟有时效性
读之前最好知道
1大语言模型基础
2最大似然估计(maximum likelihood)
3同行评审流程
4AI 生成文本检测

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐jean- · 2024-06

“One of the papers it cites is Monitoring AI-Modified Content at Scale, which is also great and looks at the issue of LLM usage to write peer reviews.”

称它引用的这篇论文也很棒,研究用 LLM 写同行评审的问题
Delving into ChatGPT usage in academic writing through excess vocabulary原评论 ↗
引用a_bonobo · 2024-03

“Worry not! People also use ChatGPT for peer review now.”

调侃说现在同行评审也有人用 ChatGPT,论文大规模测量了这一点
AI-generated images got through peer review [video]原评论 ↗
引用myfonj · 2024-04

“that pointed out skyrocketing of terms such as commendable, intricate, and meticulous.”

引用它指出 commendable、intricate、meticulous 等词的使用量激增
Google Books Is Indexing AI-Generated Garbage原评论 ↗
引用gabceboli · 2026-06

“The main sources I used are these:”

把它列为自己使用的主要资料之一,研究 AI 会议评审中 ChatGPT 修改的内容
Show HN: Isitslop.xyz, a free AI-writing detector built on latest research原评论 ↗
被提交为 story · 3 次