按年被提到
20212023 · 3 次2026
社会、经济与科学研究›科研评价与算法公平·arXiv:2109.09774 · cs.DL

Inconsistency in Conference Peer Review: Revisiting the 2014 NeurIPS Experiment

会议同行评审中的不一致:重访 2014 年 NeurIPS 实验
Corinna Cortes, Neil D. Lawrence · 2021

重访 NeurIPS 2014 评审实验:评审擅长识别差论文而非好论文

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2021-09-22 · 最近 2023-07-17
4不同的人
5活跃月份
6讨论串
38被引(OpenAlex)

论文重访了 2014 年考察会议同行评审不一致性的 NeurIPS 实验,确定评审质量分数的变异中有 50% 源自主观因素。七年后发现,对被接收的论文,质量分数与以引用量衡量的影响力没有相关性;追踪被拒论文最终发表去向后则发现二者存在相关。作者据此认为当年的评审善于发现差论文、却不善于发现好论文,并提醒不要因此去掉主观因素,还建议评价研究者个人时少看重“顶会论文”。

HN 为什么提它

HN 上的人引用它作为同行评审不稳定的证据,尤其是“评审擅长识别差论文却不擅长识别好论文”这一结论。

实证研究难度 2 / 5约 25 分钟经得起时间
读之前最好知道
1学术同行评审流程
2引用量与影响力度量
3基础统计(相关性)
4NeurIPS 会议背景

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用moyix · 2022-07

“See e.g. the NeurIPS 2014 and 2021 consistency experiments: Inconsistency in Conference Peer Review, [LINK]”

引用 NeurIPS 2014 和 2021 一致性实验,说明同行评审不一致
On the use of a life (2020)原评论 ↗
引用godelski · 2023-03

“But the Google paper[1] notes that reviewers are "good at identifying bad papers but not good at identifying good papers."”

引用 Google 论文:评审者擅长识别差论文,却不擅长识别好论文
The Most Cited AI Papers in 2022原评论 ↗
引用godelski · 2023-05

“[1] Inconsistency in Conference Peer Review”

在脚注中引用它,作为 NeurIPS 评审不一致的证据
Unlimiformer: Long-Range Transformers with Unlimited Length Input原评论 ↗
引用godelski · 2023-07

“[3.2] A follow-up on the 2014 experiment tdlr: reviewers are good at identifying bad papers, but not good at identifying good papers (i.e. bias to reject): Inconsistency in Conference Peer Review”

引用 2014 实验的后续:评审者擅长识别差论文,不擅长识别好论文,偏向拒稿
Bad numbers in the “gzip beats BERT” paper?原评论 ↗
被提交为 story · 2 次