按年被提到
20242024 · 4 次2026
大模型与语言模型›提示工程与输出稳定性·arXiv:2408.10914 · cs.CL

To Code, or Not To Code? Exploring Impact of Code in Pre-training

写不写代码?预训练中加入代码的影响
Viraat Aryabumi, Yixuan Su, Raymond Ma, Adrien Morisot, Ivan Zhang, Acyr Locatelli, Marzieh Fadaee, Ahmet Üstün, Sara Hooker · 2024

预训练加入代码能广泛提升非代码任务表现

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2024-08-21 · 最近 2026-03-27
5不同的人
3活跃月份
5讨论串
11被引(OpenAlex)

论文系统研究预训练数据中的代码对代码之外任务的影响。他们在 470M 到 2.8B 参数的模型上做了大量消融,评估自然语言推理、世界知识、代码基准以及 LLM 评判的胜率,结论是代码是泛化能力的关键组成,代码质量的提升对所有任务影响尤其大。与纯文本预训练相比,加入代码使自然语言推理相对提升最多 8.2%,世界知识 4.2%,生成胜率 6.6%,代码性能提升 12 倍。

HN 为什么提它

HN 评论者引它作为“用代码训练能提升其他任务表现”的证据,但摘录里相关性判断很含糊。

实证研究难度 3 / 5约 40 分钟有时效性
读之前最好知道
1大语言模型的预训练数据配比
2消融实验(ablation)
3LLM-as-a-judge 评测
4常见推理与知识基准

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用strken · 2024-12

“I was able to find To Code, or Not To Code? Exploring Impact of Code in Pre-training, but I don't have the context to know whether it's the paper you're talking about.”

找到一篇研究预训练中代码影响的论文,但不确定是不是对方说的那篇
Procedural knowledge in pretraining drives reasoning in large language models原评论 ↗
引用aspenmartin · 2026-03

“To Code, or Not To Code? Exploring Impact of Code in Pre-training + [OTHER_PAPER] ==> code training produces downstream performance improvements on other tasks”

引它与另一篇论文说明代码训练能提升其他任务表现
Schedule Claude Code tasks on the web原评论 ↗
被提交为 story · 3 次