按年被提到
20232023 · 5 次2026
大模型与语言模型›量化、解码与分词·arXiv:2309.08632 · cs.CL

Pretraining on the Test Set Is All You Need

只需在测试集上预训练
Rylan Schaeffer · 2023

讽刺论文:在测试集上预训练,百万参数模型在基准上拿满分

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 8 人首次 2023-10-11 · 最近 2025-08-28
8不同的人
5活跃月份
9讨论串
14被引(OpenAlex)

这是一篇讽刺论文:作者专门用评测基准构造不到 10 万 token 的“高质量非合成”数据混合,预训练出只有 100 万参数的 phi-CTNL,声称它在多个学术基准上取得满分、严格优于所有已知基础模型,还打破幂律缩放并表现出能准确预测基准“金丝雀”字符串的类 grokking 能力。借此嘲讽基准污染和刷榜。

HN 为什么提它

评论者把它当作测试集污染和基准刷分的梗来引用,包括用它调侃 Grok 3 的榜单成绩。

其他难度 2 / 5约 10 分钟经得起时间
读之前最好知道
1语言模型预训练
2基准测试与数据污染(data contamination)
3缩放定律(scaling laws)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用nojvek · 2023-10

“Related paper Pretraining on the Test Set Is All You Need”

贴出相关论文,说明在测试集上预训练会抬高基准分数
AI hype is built on high test scores. Those tests are flawed原评论 ↗
引用moffkalast · 2024-03

“it's just contaminated with this specific prompt.”

拿它说明测试集污染能让小模型在基准上拿到高分
Claude 3 model family原评论 ↗
玩笑nojvek · 2023-11

“Pre-training on the test set is all you need. Pretraining on the Test Set Is All You Need”

玩笑gmerc · 2025-02

“Time to review Pretraining on the Test Set Is All You Need AI-CEO.org's best friend”

拿这篇讽刺基准刷分的论文调侃 Grok 3
Grok3 Launch [video]原评论 ↗
被提交为 story · 5 次