按年被提到
20242025 · 6 次2026
数学、逻辑与理论›AI 数学与定理证明·arXiv:2402.03300 · cs.CL

DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models

DeepSeekMath:推高开源语言模型的数学推理极限
Zhihong Shao, Peiyi Wang, Qihao Zhu, Runxin Xu, Junxiao Song, Xiao Bi, Haowei Zhang, Mingchuan Zhang, Y. K. Li, Y. Wu, Daya Guo · 2024

继续预训练 7B 模型并提出 GRPO,提升数学推理

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 10 人首次 2024-02-06 · 最近 2026-01-21
10不同的人
6活跃月份
11讨论串
1,803被引(OpenAlex)

论文推出 DeepSeekMath 7B:在 DeepSeek-Coder-Base-v1.5 7B 的基础上,用来自 Common Crawl 的 1200 亿数学相关 token 继续预训练,在 MATH 基准上不借助外部工具和投票达到 51.7%,64 次采样自洽后达到 60.9%。其能力来自精心设计的网页数据筛选管线,以及 PPO 的变体 GRPO(Group Relative Policy Optimization),后者在提升数学推理的同时降低内存占用。

HN 为什么提它

HN 上的人主要把它当作 GRPO 的出处来引用,指出这一算法比 DeepSeek-R1 早一年发表,并成为 R1 的基础。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 架构与语言模型预训练
2强化学习与 PPO
3RLHF / 策略优化
4数学推理基准(MATH)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用highfrequency · 2025-01

“[2] DeepSeekMath and [OTHER_PAPER]”

引用它为针对数学内容细致过滤网页文本的例子
Berkeley Researchers Replicate DeepSeek R1's Core Tech for Just $30: A Small Mod原评论 ↗
引用porridgeraisin · 2025-02

“[1] DeepSeekMath”

只作为脚注来源列出,未加评价
引用natrys · 2025-05

“They published about GRPO (key algorithm behind R1) a full year before[1] they scaled it for R1.”

指出 DeepSeek 在 R1 前整整一年就发表了 GRPO
DeepSeek’s founder is threatening US dominance in AI race原评论 ↗
引用natrys · 2025-11

“the original DeepSeekMath resulted in GRPO, which eventually formed the backbone of their R1 model: DeepSeekMath”

指出 DeepSeekMath 提出 GRPO,后来成为 R1 模型的骨干
DeepSeekMath-V2: Towards Self-Verifiable Mathematical Reasoning [pdf]原评论 ↗
引用nl · 2026-01

“Page 2 of DeepSeekMath”

指向论文第 2 页:GRPO 只用英文指令数据就提升了数学成绩
Nanolang: A tiny experimental language designed to be targeted by coding LLMs原评论 ↗
被提交为 story · 6 次