按年被提到
20242024 · 2 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2411.12580 · cs.CL

Procedural Knowledge in Pretraining Drives Reasoning in Large Language Models

预训练中的程序性知识驱动大语言模型的推理
Laura Ruis, Maximilian Mozes, Juhan Bae, Siddhartha Rao Kamalakara, Dwarak Talupuru, Acyr Locatelli, Robert Kirk, Tim Rocktäschel, Edward Grefenstette, Max Bartolo · 2024

追踪预训练文档的影响:LLM 推理靠程序性知识而非检索

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2024-11-20 · 最近 2025-01-21
4不同的人
3活跃月份
4讨论串
11被引(OpenAlex)

作者针对 7B 和 35B 两个模型及其 25 亿预训练 token,研究在三个简单数学推理任务和事实问答中,哪些预训练文档影响了模型输出。事实问题的答案常出现在影响最大的文档里,而推理题的答案和中间步骤通常不会;有影响力的文档往往展示了如何用公式或代码求解,说明模型的推理方式不像检索,更像从相似推理文档中综合出的可泛化策略。

HN 为什么提它

评论者把它当作 LLM 的推理能追溯到具体预训练文档的证据,其中一人说它让自己对 AGI 更有信心,另一人觉得内容很有启发。

实证研究难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1Transformer 语言模型的预训练
2训练数据归因与影响函数(influence functions)
3大模型推理评测
4泛化与记忆

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
强烈推荐tkellogg · 2025-01

“ngl This paper AGI-pilled me.”

强烈推荐,称这篇论文让自己信了 AGI,LLM 推理可追溯到具体预训练文档
推荐sgt101 · 2025-01

“Here are two interesting papers I found informative.”

推荐两篇有启发的论文,认为预训练中的程序性知识可能驱动 LLM 推理
Aaron Swartz and Sam Altman原评论 ↗
被提交为 story · 2 次