引用dvrp · 2025-04
“seems like it's not a new 671 B behemoth, just the V3 MoE engine with long-context RoPE + FA2, retargeted at theorem proving. see [1,2]:”
说明它不是新的 671B 大模型,而是 V3 MoE 引擎改做定理证明
用 800 万条合成 Lean 4 证明数据微调模型,提升形式化定理证明
论文针对形式化定理证明缺乏数据的问题,把高中和本科竞赛题的自然语言描述翻译成 Lean 4 形式化命题,过滤低质量命题并生成证明,得到 800 万条带证明的形式化语句。用它微调 DeepSeekMath 7B 后,在 Lean 4 miniF2F 测试上整体证明准确率为 64 次采样 46.3%、累计 52%,高于 GPT-4 的 23.0% 和树搜索强化学习方法的 41.0%;在 FIMO 基准的 148 题中证明了 5 题,GPT-4 一题未证。
评论者在讨论 DeepSeek 新模型时指出,它看起来是 V3 的 MoE 引擎加长上下文 RoPE 与 FA2,改用于定理证明,并引用了这篇论文。
“seems like it's not a new 671 B behemoth, just the V3 MoE engine with long-context RoPE + FA2, retargeted at theorem proving. see [1,2]:”