推荐jean- · 2024-06
“One of the papers it cites is Monitoring AI-Modified Content at Scale, which is also great and looks at the issue of LLM usage to write peer reviews.”
称它引用的这篇论文也很棒,研究用 LLM 写同行评审的问题
估计同行评审中被大模型改写的文本比例,约为 6.5% 到 16.9%
论文提出一种估计大型语料中有多大比例文本可能被大语言模型实质性修改或生成的方法:用最大似然模型,借助专家撰写与 AI 生成的参照文本,在语料层面高效检验现实中的 LLM 使用。作者把它应用到 ChatGPT 发布后的 AI 会议同行评审(ICLR 2024、NeurIPS 2023、CoRL 2023、EMNLP 2023),估计这些评审中有 6.5% 到 16.9% 的文本可能被 LLM 实质性修改,超出拼写检查或轻微润色。AI 文本在置信度较低、临近截止日提交、以及较少回应作者反驳的审稿人的评审中占比更高,并讨论了对同行评审的影响。
HN 上的人引用它说明同行评审中已经普遍使用 ChatGPT,并常提到它指出的 commendable、intricate、meticulous 等词的使用量激增。
“One of the papers it cites is Monitoring AI-Modified Content at Scale, which is also great and looks at the issue of LLM usage to write peer reviews.”
“Worry not! People also use ChatGPT for peer review now.”
“that pointed out skyrocketing of terms such as commendable, intricate, and meticulous.”
“The main sources I used are these:”