引用highfrequency · 2025-01
“[2] DeepSeekMath and [OTHER_PAPER]”
引用它为针对数学内容细致过滤网页文本的例子
继续预训练 7B 模型并提出 GRPO,提升数学推理
论文推出 DeepSeekMath 7B:在 DeepSeek-Coder-Base-v1.5 7B 的基础上,用来自 Common Crawl 的 1200 亿数学相关 token 继续预训练,在 MATH 基准上不借助外部工具和投票达到 51.7%,64 次采样自洽后达到 60.9%。其能力来自精心设计的网页数据筛选管线,以及 PPO 的变体 GRPO(Group Relative Policy Optimization),后者在提升数学推理的同时降低内存占用。
HN 上的人主要把它当作 GRPO 的出处来引用,指出这一算法比 DeepSeek-R1 早一年发表,并成为 R1 的基础。
“[2] DeepSeekMath and [OTHER_PAPER]”
“[1] DeepSeekMath”
“They published about GRPO (key algorithm behind R1) a full year before[1] they scaled it for R1.”
“the original DeepSeekMath resulted in GRPO, which eventually formed the backbone of their R1 model: DeepSeekMath”
“Page 2 of DeepSeekMath”