DeepSeek R1 是怎么训练出来的？- R1 论文精读

背景

DeepSeek 里程碑式的爆火，有必要学习下是怎么回事。

大语言模型的发展，之前一直是以预训练为主，虽然性能一直在提升，但主要是小修小补，跨越式的 GPT5 一直出不来。OpenAI 在 24 年 9 月发布的 o1 提出了新的路线：在预训练好的模型上，用强化学习做后训练，能显著提高模型推理能力，其效果在解数学、编码等问题上屠榜。

但 o1 只说了强化学习能让模型学会思维链的方式提升推理能力，其他的发现都没有公布，加上 o1 一直是期货，12月才正式推出，200美元一个月，普通人都用不上，充满神秘。

而 DeepSeek 自主研发了通过强化学习让模型学会思维链提升推理能力，性能逼近 o1，加上之前 DeepSeekV3 在预训练基础模型上的创新，推理成本也显著低于 o1，直接推出全民免费可用媲美 o1 的模型，甚至在一些中文语境下效果显著超过 o1，大众用户一用感受到 NB，业内人士震惊它的创新能力纷纷学习，美国人民恐慌中国 AI 的发展有超越美国引领技术潮流的可能性，结合大国叙事，爱国情怀，各种元素综合下各觉得都会乐此不疲地研究、使用、讨论，引爆全网。

接下来一步步精读下 DeepSeek-R1 的论文 《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》了解现象级 R1 模型是怎么做出来的。

R1 论文

DeepSeek R1 是基于预训练好的 DeepSeekV3 基础模型进行的后训练优化，V3 做了很多创新优化，很大降低了预训练模型和模型推理的成本，是 R1 的基础，这里先不讨论 V3，只看 R1 在 V3 基础上做了什么后训练。

在 DeepSeekR1 这篇论文里核心做的三个事：

1. R1-Zero：首个证明只通过 RL 而不通过 SFT 就能让模型涌现推理能力。
2. R1：新的强化学习后训练范式。
3. 蒸馏：蒸馏显著提升小模型能力，小模型有潜力。

我们一个个具体看下这三个事。

R1-Zero

R1-Zero 证明了对已预训练好的模型，不需要经过 SFT，只需要纯粹的 RL，就能让模型涌现 CoT 推理能力。

SFT是监督式微调，也就是准备好一堆标注好的数据，让模型去学习拟合，可以粗略理解为刷题，大量的刷题学习能解决类似的题目；

RL是强化学习，只告诉模型什么是好的什么是不好的，过程中模型自己学习怎么达到目标，可以理解为不靠刷题，自己去理解探索数学和世界的规律，理论上灵活性强，上限更高，还有可能探索出人类未知的能力。

强化学习首次出圈是 AlphaGo，AlphaGo 先学习人类棋谱，再用强化学习自我对弈进化，而随后的 AlphaGo Zero 没有人类棋谱，只定义好围棋奖励规则，模型自己学习怎么下，达到更高的水平。R1-Zero 这命名也是致敬 Alpha-Zero，因为它们非常类似，脱离人类的指导自主发现规律提升智能。

为什么之前没人做到？

1. 模型能力没达到一定阈值，仅通过强化学习没法涌现。
2. 强化学习是种方法，过程中用什么算法做价值判定也很大程度影响效果
3. o1 可能已经做了同样的探索和结果，也可能没有，它闭源不公开，而 DeepSeek 首次探索并公开了。

GRPO vs PPO

R1-Zero 最大的不同，是在强化学习中使用 GRPO 算法代替 PPO。GRPO 算法也是 DeepSeek 团队在 24 年 2 月《DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models》这篇论文提出的，其核心思想可以理解为两个字：内卷。

简单来说，PPO 是用一个模型去评估当前输出的收益，模型觉得这个输出好，就更新参数往这方向靠近，类似四六级考试的判定，有个分数线，过了就好，不过就不好；GRPO 是让模型一次性输出一组数据，在这组数据中选得分最高的，让模型逐步靠近得分高的输出，类似高考的内卷选拔，你只要比同龄人好，就是好。

更具体的可以看这张图：

图上的一些概念：

• Reference Model：预训练的大语言模型
• Reward Model：奖励模型，给定输入和输出，给出得分。可以是基于神经网络训练的模型，使用人类标注数据做训练；也可以是规则模型，定死一些规则做打分。这里的输入是大语言模型一次完整的输出。
• Value Model：对模型输出的每一步做一个预测，预测当前状态下后续能得到的收益。这里的输入是大语言模型每一次 token 的输出。
• Policy Model：我们正在训练的大语言模型。base 是 Reference Model，训练过程中会不断更新参数，得到我们最终需要的模型。
• GAE：Generalized Advantage Estimation 广义优势估计，评估每一个动作的好坏程度
• q：输入 question
• o：输出 output
• r：模型完整的输出经过 Reward Model 计算后的分数
• v：模型每一步的输出后的状态，经过 Value Model 计算后的价值估计值，用于评估当前 token 输出的好坏。
• KL：Kullback-Leibler divergence KL散度，衡量新策略(当前训练中的模型输出的结果)和旧策略(base模型输出的结果)之间的差异，保障训练中策略更新幅度不要过大，保证稳定性。

PPO 用 Reward Model 计算大模型完整输出的奖励分数(r)，过程中会跟原始模型的输出做对比(KL)，避免偏离太远。大模型每步 token 输出，都会经过 Value Model 判定输出对后续奖励的期望值(v)，经过 GAE 函数计算每步动作的好坏程度，更新我们在训练的大模型 Policy Model 参数。

GRPO 去掉了 Value Model，对每个输入(q)输出多个结果o1 o2 o3 …，奖励模型判断这些结果的好坏，从中选出最好的，更新模型参数。对算法和公式更详细的介绍，推荐这两个讲解：（1），（2）

GRPO 去掉 Value Model，带来了一些好处：

1. 大大降低计算成本，少了价值模型，训练过程的内存占用、计算量、整体效率都更好。
2. 更适合开放式的问题推理，不受限于价值模型判断的准确性。
3. 整个流程也更简洁优美了。

Reward Model

从上图可以看到，主要需要设计的只剩 Reward Model，R1-Zero 设计了一个基于规则的 Reward Model，之所以用简单的规则而不是基于神经网络的模型做奖励判定，一个是不需要训练，简化了流程和降低成本，一个是如果用神经网络模型作为奖励判定，如果这个判定模型不够强，可能会让训练的大语言模型钻空子作弊，效果不一定好。

主要是两个简单的规则：

1. 答案判断，如果是数学问题，会要求按格式要求输出最终答案，对比答案是否正确，对于 LeeCode 上的程序问题，会用编译器去判断能不能跑通对应的 test case。
2. 格式判断，有没有按照指定的格式输出内容，也就是思维链的内容在<think></think>里，输出的内容在<answer></answer>里。

训练模板

训练时会输入预置 prompt，让模型按格式要求输出。这个模板有意设置得很简单，避免带偏模型，也不会告诉模型要进行反思性推理或者其他推理策略，确保可以观察到模型在强化学习过程中自发去发现怎样的推理方式才是更有效的。

现象&结果

训练过程中两个重要的现象：

1. 输出越来越长：随着训练量的推进，输出的长度稳步加长，推理能力也随之提升。这也验证了 OpenAI o1 里提到的 test-time scaling，也就是更长的推理输出能更好提升模型推理能力，模型在强化学习过程中自主发现了这个规律。

2. Aha moment：训练过程中模型学会了停下来重新评估前面的思考，而且使用拟人的口气进行了反思。强化学习过程中人类没有输入任何类似的反思引导，模型能自主进行这种反思，十分有趣。我理解为，在预训练的模型里，模型已经有这样的反思意识潜力，在训练的某次输出过程中偶然出现，而出现后的结果对复杂推理有帮助，强化学习的机制会持续鼓励这样的输出。

训练的结果，在推理相关的 benchmark上，基本达到 o1 的水平：

R1-Zero 有非常有趣的发现，即不做监督学习，仅对预训练模型进行强化学习这条路是 OK 的，最终的模型有媲美o1的推理能力，但当前这种方式训练出的 R1-Zero 实际对外使用会有些问题，主要是对人不友好，比如输出的内容中英文混杂，猜测是奖励模型并没有做这种人类阅读友好的奖励判定，模型没理由能做好这块。

R1

为了做出一个推理能力强，输出对人类友好，综合能力 OK 的模型，DeepSeek 另外训练了R1模型。

整个流程可以可以看这图，图片来自 这个视频，顺便推荐这个视频的讲解。

这里做了两个阶段的后训练，每个阶段都是先 SFT，再进行 RL，只是数据和目标不同。

一阶段

1. 用少量的几千个包含了思维链推理的数据，对预训练模型做 SFT。虽然上面说 R1-Zero 不用 SFT 直接用 RL 也可以涌现推理思维链，但有少量精品数据做 SFT，RL 初期就能让模型生成可读性较好的结果，另外可能也能让训练冷启动效率更高，可以看这个视频感受下，在复现过程中，如果没有 SFT 直接 RL，前期要经历比较长的无效训练。
2. 用跟训练 R1-Zero 同样的步骤，用 coding、数学、科学、逻辑 这些推理密集的数据，对 SFT 后的模型做强化学习。这次强化学习的奖励模型里增加了对语言一致性的奖励，减少模型输出中英夹杂的概率，虽然加了后发现对模型的推理能力会有些下降，但还能接受。

二阶段

1. 用把上述强化学习后的模型，生成与推理相关的数据，并对这些数据择优，包括去掉语言一致性不行的case、去掉长篇大论的case、对同个问题生成多次并选择最好的一次，拿到质量相对好的60w个推理相关数据，加上另外收集标注的 20w 个跟推理无关，包含写作、事实性回答、翻译等数据，一起对模型再做一次SFT。R1 的中文输出很强，更大可能是跟这 20w 数据的质量高相关。
2. 把上述 SFT 后的模型，再做一次强化学习。这次强化学习具体没有展开，主要是引导模型安全输出，过滤有害输出，以及再次提升推理能力的一次训练。这次的奖励模型额外再加上了对通用内容的奖励，在文科内容、日常问答上，应该也准备了一些质量比较高的 case 和奖励规则模型。

这几个步骤后，R1 就训练完成了，可以看到这个基于 V3 模型的后训练过程成本是很低的，数据量不大，但效果非常显著，特别是在编码和数学问题上，R1 相对 V3 提升了几个档次。

而这个过程，看起来也是可以 scale 的，可以用这个训好的模型继续多步生成一些case，择优组成新的数据，继续进行 SFT 和强化学习。

这条显著提升模型推理能力的后训练路跑通了，公开解了 o1 一直遮遮掩掩的强化学习路线，也展现了很好的低成本持续 scale up 的潜力。沿着这条路走能 scale 到什么程度还不太清楚，拭目以待。

蒸馏

R1 训完了，最终我们用的就是上述训练出来的模型，但这篇论文还没完，DeepSeek 的同学发现用上述 R1 训练过程中生成的 60w 推理相关的数据，以及 20w 的额外数据去对小模型做 SFT，小模型性能的提升非常明显。

看起来这一步纯粹是用质量更好的数据对小模型做SFT，只是这些数据大部分是 R1 生成的，相当于是蒸馏提取了 R1 的能力精华，拟合了 R1 的能力，这样也能给小模型带来较好的推理能力提升。

从分数看，这些小模型在数学和 coding 上的性能是不错的，如果1.5b在部分场景上能有媲美4o的效果，那端上大模型会迎来一波应用潮。但实际用起来没那么理想，试过 1.5B 模型基本不遵循指令，有些刷分的感觉，但这仅是做了初步的SFT 后的效果，在这基础上对小模型继续进行强化学习，可能整体能力能有提升，也是值得期待的点。

这里论文上还额外做了另一个实验，用类似 R1-Zero 的方法直接对小模型做强化学习，实验效果是相对用蒸馏数据做 SFT 的方式，效果差很多。一个猜测是小模型就是能力有限，直接用强化学习达到顿悟和性能提升，得基于模型本身能力足够才行。

到这里 R1 论文内容结束了，结尾部分提到后续会在多轮对话、json输出、语言混合、提示词问题、写工程代码弱这些问题上提升的展望，解决这些只是时间问题。

复现

这篇论文介绍了 R1 整个算法、训练流程和结果，但最核心的应该是数据，包括用于 R1-Zero 的数据是什么，数据量有多大，生成的 60w 数据具体是什么样的，标注的 20w 文科数据是什么，这是决定模型效果的另一个核心因素，DeepSeek 的中文效果出圈，应该很大程度还是标注的 20w 文科数据质量高，不确定 RL 带来的推理能力提升在文科这块上的帮助有多大。这些数据没有公开，友商要复刻出 DeepSeek 的效果没那么容易。

网上有不少开始复现 R1 和 R1-Zero 的开源项目研究，最大的是 huggingface 的 open-r1，也有学生在 3B 模型上小规模复现 R1-Zero 的开源项目 TinyZero。

感受

1. DeepSeek APP 上线 20天 DAU 超过 2000w，成为历史用户增长最快的 APP，更让人感受到通用 AI chatbot 没有护城河可言，无论是国内的豆包、kimi，还是 ChatGPT、Claude，只要有更好的模型出现，用户瞬间转移不带留恋的。搜索是有技术积累的壁垒的，社交有关系链，内容平台有内容壁垒，基于 chatbot 形态的产品，没看到有什么壁垒，用户数据没有作用，曾以为模型领先就是壁垒，OpenAI 可以凭借领先收高额费用和大部分用户的忠诚，DeepSeek 这波又打破了这种壁垒，领先者无法保证自己一直领先。
2. DeepSeek 带来中国自信，曾经认为，类似 AICoding 这种全球无差异竞争的产品，国内同学们怎么搞得过海外那些清一色 MIT 天才搞的产品？DeepSeek 的成功叙事给了这些直面竞争产品很大的信心，这种信心下中概股都被疯狂拉动，还是很让人激动的。