强烈推荐tkellogg · 2025-01
“ngl This paper AGI-pilled me.”
强烈推荐,称这篇论文让自己信了 AGI,LLM 推理可追溯到具体预训练文档
追踪预训练文档的影响:LLM 推理靠程序性知识而非检索
作者针对 7B 和 35B 两个模型及其 25 亿预训练 token,研究在三个简单数学推理任务和事实问答中,哪些预训练文档影响了模型输出。事实问题的答案常出现在影响最大的文档里,而推理题的答案和中间步骤通常不会;有影响力的文档往往展示了如何用公式或代码求解,说明模型的推理方式不像检索,更像从相似推理文档中综合出的可泛化策略。
评论者把它当作 LLM 的推理能追溯到具体预训练文档的证据,其中一人说它让自己对 AGI 更有信心,另一人觉得内容很有启发。
“ngl This paper AGI-pilled me.”
“Here are two interesting papers I found informative.”