在回沪的航班上，我用本地大模型翻译了这篇paper，这里也分享出来，省略部分图表。
DeepSeek-R1：通过强化学习激励大型语言模型的推理能力
DeepSeek-AI
research@deepseek.com
摘要
我们介绍了我们的第一代推理模型，DeepSeek-R1-Zero 和DeepSeek-R1 。DeepSeek-R1-Zero 是通过大规模强化学习（RL）训练的模型，没有经过监督微调（SFT）作为初步步骤，展现了显著的推理能力。通过 RL，DeepSeek-R1-Zero 自然地展现出许多强大而有趣的推理行为。然而，它面临着可读性差和语言混合等挑战。为了解决这些问题并进一步增强推理性能，我们引入了 DeepSeek-R1，该模型在 RL 之前结合了多阶段训练和冷启动数据。 DeepSeek-R1 在推理任务上的表现与 OpenAI-o1-1217 相当。为了支持研究社区，我们开源了 DeepSeek-R1-Zero 、DeepSeek-R1 以及基于 Qwen 和Llama 从DeepSeek-R1 提炼出的六个密集模型（1.5B 、7B 、8B 、14B 、32B 、70B）。
内容
- 引言
1.1. 贡献
1.2. 评估结果总结 - 方法
2.1. 概述
2.2. DeepSeek-R1-Zero：基础模型上的强化学习
2.2.1. 强化学习算法
2.2.2. 奖励建模
2.2.3. 训练模板
2.2.4. DeepSeek-R1-Zero 的性能、自我演化过程和“顿悟”时刻
2.3. DeepSeek-R1：带有冷启动的强化学习
2.3.1. 冷启动
2.3.2. 以推理为导向的强化学习
2.3.3. 拒绝采样和监督微调
2.3.4. 适用于所有场景的强化学习
2.4. 蒸馏：赋予小模型推理能力 - 实验
3.1. DeepSeek-R1 评估
3.2. 蒸馏模型评估 - 讨论
4.1. 蒸馏与强化学习
4.2. 不成功的尝试 - 结论、局限性和未来工作
A. 贡献和致谢（略）
1. 引言
近年来，大型语言模型（LLMs）经历了快速的迭代和演变，逐渐缩小了与人工通用智能（AGI）之间的差距。最近，后训练已成为完整训练流程的重要组成部分。研究表明，它可以提高推理任务的准确性，与社会价值观对齐，并适应用户偏好，同时相对于预训练而言需要的计算资源相对较少。在推理能力方面，OpenAI 的o1 系列模型首次引入了通过增加思维链（Chain-of-Thought）推理过程的长度来进行推理时扩展的方法。这种方法在数学、编码和科学推理等各种推理任务中取得了显著的改进。然而，如何有效地进行测试时扩展仍然是研究社区面临的一个开放问题。之前的几项工作探索了各种方法，包括基于过程的奖励模型、强化学习和搜索算法（如蒙特卡洛树搜索和束搜索）。然而，这些方法都未能在推理性能上达到与 OpenAI 的o1 系列模型相当的水平。
在本文中，我们迈出了通过纯强化学习（RL）提高语言模型推理能力的第一步。我们的目标是探索 LLMs 在没有任何监督数据的情况下发展推理能力的潜力，专注于它们通过纯 RL 过程的自我演化。具体来说，我们使用 DeepSeek-V3-Base 作为基础模型，并采用 GRPO 作为 RL 框架，以提高模型在推理方面的表现。在训练过程中，DeepSeek-R1-Zero 自然展现出许多强大而有趣的推理行为。在经过数千步的 RL 后，DeepSeek-R1-Zero 在推理基准测试中的表现超群。例如，AIME 2024 的pass@1 分数从 15.6%上升到 71.0%，通过多数投票，分数进一步提高到 86.7%，与 OpenAI-o1-0912 的表现相匹配。
然而，DeepSeek-R1-Zero 面临着可读性差和语言混合等挑战。为了解决这些问题并进一步增强推理性能，我们引入了 DeepSeek-R1，该模型结合了少量冷启动数据和多阶段训练流程。具体来说，我们首先收集数千条冷启动数据，以微调 DeepSeek-V3-Base 模型。随后，我们执行以推理为导向的 RL，如同 DeepSeek-R1-Zero 。当 RL 过程接近收敛时，我们通过对 RL 检查点进行拒绝采样生成新的 SFT 数据，并结合来自 DeepSeek-V3 的监督数据，涵盖写作、事实问答和自我认知等领域，然后对 DeepSeek-V3-Base 模型进行再训练。在用新数据微调后，该检查点经过额外的 RL 过程，考虑到来自所有场景的提示。经过这些步骤，我们获得了一个称为 DeepSeek-R1 的检查点，其在推理任务上的表现与 OpenAI-o1-1217 相当。
我们进一步探索从 DeepSeek-R1 蒸馏出小型密集模型。使用 Qwen2.5-32B 作为基础模型，直接从 DeepSeek-R1 蒸馏的结果优于在其上应用 RL 。这表明大型基础模型发现的推理模式对于提高推理能力至关重要。我们开源了基于 DeepSeek-R1 蒸馏的 Qwen 和Llama 系列模型。值得注意的是，我们的蒸馏 14B 模型在推理基准测试中显著超越了最新的开源 QwQ-32B-Preview，而蒸馏的 32B 和70B 模型在密集模型中创下了新的推理基准记录。
1.1. 贡献
后训练：基础模型上的大规模强化学习
- 我们直接将 RL 应用于基础模型，而不依赖于监督微调（SFT）作为初步步骤。这种方法使模型能够探索解决复杂问题的思维链（CoT），从而发展出 DeepSeek-R1-Zero 。DeepSeek-R1-Zero 展示了自我验证、反思和生成长 CoT 等能力，标志着研究社区的一个重要里程碑。值得注意的是，这是首个公开研究，验证了 LLMs 的推理能力可以通过纯 RL 激励，而无需 SFT 。这一突破为未来在这一领域的进展铺平了道路。
- 我们引入了开发 DeepSeek-R1 的流程。该流程结合了两个 RL 阶段，旨在发现改进的推理模式并与人类偏好对齐，以及两个 SFT 阶段，作为模型推理和非推理能力的种子。我们相信该流程将使行业受益，创造出更好的模型。
蒸馏：小模型也可以强大
- 我们证明了大型模型的推理模式可以蒸馏到小模型中，从而在性能上超越通过 RL 发现的推理模式。开源的 DeepSeek-R1 及其 API 将使研究社区在未来蒸馏出更好的小模型。
- 使用 DeepSeek-R1 生成的推理数据，我们微调了多个广泛使用的密集模型。评估结果表明，蒸馏的小型密集模型在基准测试中表现出色。 DeepSeek-R1-Distill-Qwen-7B 在AIME 2024 上达到 55.5%，超越了 QwQ-32B-Preview 。此外，DeepSeek-R1-Distill-Qwen-32B 在AIME 2024 上得分 72.6%，在 MATH-500 上得分 94.3%，在 LiveCodeBench 上得分 57.2%。这些结果显著超越了之前的开源模型，并与 o1-mini 相当。
1.2. 评估结果总结
- 推理任务：
(1) DeepSeek-R1 在AIME 2024 上得分 79.8% Pass@1，略微超过 OpenAI-o1-1217 。在 MATH-500 上，它取得了令人印象深刻的 97.3%的成绩，与 OpenAI-o1-1217 表现相当，并显著超越其他模型。
(2) 在与编码相关的任务中，DeepSeek-R1 在代码竞赛任务中表现出色，获得了 Codeforces 上的 2,029 Elo 评分，超过了 96.3%的参赛人。对于工程相关任务，DeepSeek-R1 的表现略优于 DeepSeek-V3，这可能有助于开发者在实际任务中。 - 知识：在 MMLU 、MMLU-Pro 和GPQA Diamond 等基准测试中，DeepSeek-R1 取得了出色的结果，得分分别为 90.8%、 84.0%和 71.5%，显著超越 DeepSeek-V3 。尽管在这些基准测试中的表现略低于 OpenAI-o1-1217，但 DeepSeek-R1 超越了其他闭源模型，展示了其在教育任务中的竞争优势。在事实基准测试 SimpleQA 中，DeepSeek-R1 的表现优于 DeepSeek-V3，显示出其处理基于事实查询的能力。在该基准测试中，OpenAI-o1 也超越了 4o 。
- 其他：DeepSeek-R1 在广泛的任务中表现出色，包括创意写作、一般问答、编辑、摘要等。在 AlpacaEval 2.0 上，它实现了 87.6%的长度控制胜率，在 ArenaHard 上达到了 92.3%的胜率，展示了其智能处理非考试导向查询的强大能力。此外，DeepSeek-R1 在需要长上下文理解的任务上表现出色，在长上下文基准测试中显著超越 DeepSeek-V3 。
2. 方法
2.1. 概述
以往的工作在提升模型性能时，往往依赖大量的监督数据。在本研究中，我们展示了通过大规模强化学习（RL）显著提升推理能力，即使在没有使用监督微调（SFT）作为冷启动的情况下。此外，加入少量高质量数据作为冷启动可以进一步提升性能。接下来的部分将介绍：(1) DeepSeek-R1-Zero，该模型直接将 RL 应用于基础模型，而没有任何 SFT 数据；(2) DeepSeek-R1，该模型从经过数千条长思维链（CoT）示例微调的检查点开始应用 RL；(3) 将推理能力蒸馏到小型密集模型。
2.2. DeepSeek-R1-Zero：基础模型上的强化学习
强化学习在推理任务中展现出了显著的有效性，如我们之前的工作所示。然而，这些工作在实践中高度依赖于监督数据，这些数据的收集耗时。我们在这一部分探讨了 LLMs 在没有任何监督数据的情况下，如何通过纯强化学习过程发展推理能力，重点关注它们的自我演化。
2.2.1. 强化学习算法
我们采用了群体相对策略优化（GRPO），以节省 RL 的训练成本。 GRPO 省略了通常与策略模型同等大小的评论模型，而是从群体得分中估计基线。具体来说，对于每个问题𝑞，GRPO 从旧策略𝜋𝜃𝑜𝑙𝑑中抽样一组输出{𝑜1, 𝑜2, · · · , 𝑜𝐺}，然后通过最大化以下目标来优化策略模型𝜋𝜃：
[ J_{GRPO}(\theta) = E[q \sim P(Q), {o_i}{i=1}^{G} \sim \pi{\theta_{old}}(O|q)] ]
2.2.2. 奖励建模
奖励是训练信号的来源，决定了强化学习（RL）的优化方向。为了训练 DeepSeek-R1-Zero，我们采用了一种基于规则的奖励系统，主要由两种类型的奖励组成：
- 准确性奖励：准确性奖励模型评估响应是否正确。例如，在确定性结果的数学问题中，模型需要以指定的格式（例如，在框内）提供最终答案，从而实现可靠的基于规则的正确性验证。同样，对于 LeetCode 问题，可以使用编译器根据预定义的测试用例生成反馈。
- 格式奖励：除了准确性奖励模型外，我们还采用格式奖励模型，强制模型将其思维过程放在“<think>”和“</think>”标签之间。
我们没有在开发 DeepSeek-R1-Zero 时应用结果或过程神经奖励模型，因为我们发现神经奖励模型可能在大规模强化学习过程中遭遇奖励黑客问题，而重新训练奖励模型需要额外的训练资源，并且会使整个训练流程变得复杂。
2.2.3. 训练模板
为了训练 DeepSeek-R1-Zero，我们首先设计了一个简单的模板，指导基础模型遵循我们的指定指令。如表 1所示，该模板要求 DeepSeek-R1-Zero 首先生成推理过程，然后给出最终答案。我们故意将约束限制在这种结构化格式上，避免任何内容特定的偏见——例如强制反思性推理或推广特定问题解决策略——以确保我们能够准确观察模型在 RL 过程中的自然进展。
2.2.4. DeepSeek-R1-Zero 的性能、自我演化过程和“顿悟”时刻
DeepSeek-R1-Zero 的性能如图 2所示，展示了其在 AIME 2024 基准测试中的表现轨迹。在 RL 训练过程中，DeepSeek-R1-Zero 的性能稳步提升，表现出持续的增强。值得注意的是，AIME 2024 的平均 pass@1 分数显著增加，从最初的 15.6%跃升至 71.0%，达到了与 OpenAI-o1-0912 相当的性能水平。这一显著提升突显了我们的 RL 算法在优化模型性能方面的有效性。
表 2提供了 DeepSeek-R1-Zero 与OpenAI 的o1-0912 模型在各种推理相关基准测试中的比较分析。研究结果显示，RL 使DeepSeek-R1-Zero 在没有任何监督微调数据的情况下获得了强大的推理能力。这是一个值得注意的成就，因为它强调了模型通过 RL 单独学习和概括的能力。此外，通过应用多数投票，DeepSeek-R1-Zero 的表现可以进一步增强。例如，在 AIME 基准测试中，当采用多数投票时，DeepSeek-R1-Zero 的表现从 71.0%提升至 86.7%，超越了 OpenAI-o1-0912 。DeepSeek-R1-Zero 在有无多数投票情况下都能取得如此竞争力的表现，突显了其强大的基础能力和在推理任务中进一步发展的潜力。
DeepSeek-R1-Zero 的自我演化过程
DeepSeek-R1-Zero 的自我演化过程展示了 RL 如何驱动模型自主提升其推理能力。通过直接从基础模型启动 RL，我们可以在没有监督微调阶段影响的情况下，密切监控模型的进展。这种方法清晰地展示了模型随时间演变的过程，特别是在处理复杂推理任务的能力方面。
如图 3所示，DeepSeek-R1-Zero 的思考时间在训练过程中持续改善。这种改善不是外部调整的结果，而是模型内部的内在发展。 DeepSeek-R1-Zero 通过利用扩展的测试时间计算，自然地获得了解决日益复杂的推理任务的能力。这种计算范围从生成数百到数千个推理标记，使模型能够更深入地探索和完善其思维过程。
这一自我演化的最显著方面是，随着测试时间计算的增加，复杂行为的出现。反思等行为——模型重新审视和重新评估其先前步骤——以及探索替代问题解决方法的能力自发地出现。这些行为并不是显式编程的结果，而是模型与强化学习环境交互的结果。这种自发的发展显著增强了 DeepSeek-R1-Zero 的推理能力，使其能够更高效、更准确地应对更具挑战性的任务。
DeepSeek-R1-Zero 的“顿悟”时刻
在 DeepSeek-R1-Zero 的训练过程中观察到的一个特别有趣的现象是“顿悟”时刻的出现。这一时刻发生在模型的一个中间版本中。在这一阶段，DeepSeek-R1-Zero 学会了通过重新评估其初始方法来为问题分配更多的思考时间。这种行为不仅证明了模型推理能力的提升，也是强化学习如何导致意想不到和复杂结果的迷人示例。
这一时刻不仅是模型的“顿悟”，也是观察其行为的研究者的“顿悟”。它强调了强化学习的力量和美丽：我们并不是明确教导模型如何解决问题，而是简单地为其提供正确的激励，模型便自主发展出先进的问题解决策略。“顿悟”时刻强有力地提醒我们，RL 有潜力解锁人工系统的新智能水平，为未来更自主和适应性的模型铺平道路。
DeepSeek-R1-Zero 的缺点
尽管 DeepSeek-R1-Zero 展现了强大的推理能力，并自主发展出意想不到和强大的推理行为，但它面临着一些问题。例如，DeepSeek-R1-Zero 在可读性差和语言混合等挑战上存在困难。为了使推理过程更具可读性并与开放社区分享，我们探索了 DeepSeek-R1，这是一种利用 RL 与人类友好的冷启动数据的方法。
2.3. DeepSeek-R1：带有冷启动的强化学习
受到 DeepSeek-R1-Zero 的良好结果的启发，自然产生了两个问题：1）通过加入少量高质量数据作为冷启动，推理性能是否可以进一步提高或收敛加速？2）我们如何训练一个用户友好的模型，不仅能生成清晰连贯的思维链（CoT），还能够展示出强大的通用能力？为了解决这些问题，我们设计了一个训练 DeepSeek-R1 的流程。该流程包括四个阶段，具体如下。
2.3.1. 冷启动
与 DeepSeek-R1-Zero 不同，为了防止 RL 训练初期的不稳定冷启动阶段，我们为 DeepSeek-R1 构建并收集了一小部分长 CoT 数据，以微调模型作为初始 RL 演员。为了收集这些数据，我们探索了几种方法：使用少量示例的长 CoT 进行提示，直接提示模型生成详细答案并进行反思和验证，收集 DeepSeek-R1-Zero 的可读格式输出，并通过人工注释者进行后处理来精炼结果。
在本研究中，我们收集了数千条冷启动数据，以微调 DeepSeek-V3-Base 作为 RL 的起点。与 DeepSeek-R1-Zero 相比，冷启动数据的优势包括：
- 可读性：DeepSeek-R1-Zero 的一个关键限制是其内容往往不适合阅读。响应可能混合多种语言或缺乏突出答案的 Markdown 格式。相比之下，在为 DeepSeek-R1 创建冷启动数据时，我们设计了一个可读的模式，在每个响应的末尾包含摘要，并过滤掉不适合阅读的响应。我们在此定义输出格式为|special_token|<reasoning_process>|special_token|<summary>，其中推理过程是查询的 CoT，摘要用于总结推理结果。
- 潜力：通过精心设计冷启动数据的模式并结合人类先验，我们观察到相较于 DeepSeek-R1-Zero 的更好表现。我们相信迭代训练是推理模型的更好方法。
2.3.2. 面向推理的强化学习
在对 DeepSeek-V3-Base 进行冷启动数据的微调后，我们应用与 DeepSeek-R1-Zero 相同的大规模强化学习训练过程。这个阶段的重点是增强模型的推理能力，特别是在编码、数学、科学和逻辑推理等推理密集型任务中，这些任务涉及定义明确且解决方案清晰的问题。在训练过程中，我们观察到 CoT（思维链）经常表现出语言混合，特别是在 RL 提示涉及多种语言时。为了缓解语言混合的问题，我们在 RL 训练中引入了语言一致性奖励，该奖励是根据 CoT 中目标语言单词的比例计算的。尽管消融实验表明，这种对齐会导致模型性能的轻微下降，但该奖励与人类偏好一致，使其更具可读性。最后，我们通过直接相加推理任务的准确性和语言一致性奖励来形成最终奖励。然后，我们在微调后的模型上应用 RL 训练，直到其在推理任务上达到收敛。
2.3.3. 拒绝采样和监督微调
当面向推理的 RL 收敛时，我们利用生成的检查点收集 SFT（监督微调）数据以进行下一轮。与最初主要关注推理的冷启动数据不同，这个阶段结合了来自其他领域的数据，以增强模型在写作、角色扮演和其他通用任务中的能力。具体而言，我们生成数据并对模型进行微调，如下所述。
推理数据 我们策划推理提示，并通过对上述 RL 训练的检查点进行拒绝采样来生成推理轨迹。在前一个阶段，我们只包括可以使用基于规则的奖励进行评估的数据。然而，在这个阶段，我们通过引入额外数据来扩展数据集，其中一些数据使用生成奖励模型，通过将真实值和模型预测输入 DeepSeek-V3 进行判断。此外，由于模型输出有时混乱且难以阅读，我们过滤掉了混合语言的思维链、冗长的段落和代码块。对于每个提示，我们采样多个响应，仅保留正确的响应。总共，我们收集了大约 60 万个与推理相关的训练样本。
非推理数据 对于非推理数据，如写作、事实问答、自我认知和翻译，我们采用 DeepSeek-V3 流程，并重用 DeepSeek-V3 的部分 SFT 数据集。对于某些非推理任务，我们调用 DeepSeek-V3 在回答问题之前生成潜在的思维链。然而，对于更简单的查询，如“你好”，我们不会提供思维链作为回应。最终，我们收集了大约 20 万个与推理无关的训练样本。
我们使用上述策划的数据集（约 80 万个样本）对 DeepSeek-V3-Base 进行了两轮微调。
2.3.4. 面向所有场景的强化学习
为了进一步使模型与人类偏好对齐，我们实施了一个二次强化学习阶段，旨在提高模型的有用性和无害性，同时精炼其推理能力。具体而言，我们使用奖励信号和多样化提示分布的组合来训练模型。对于推理数据，我们遵循 DeepSeek-R1-Zero 中概述的方法，利用基于规则的奖励来指导数学、代码和逻辑推理领域的学习过程。对于一般数据，我们依靠奖励模型来捕捉复杂和细微场景中的人类偏好。我们在 DeepSeek-V3 流程的基础上，采用类似的偏好对和训练提示分布。对于有用性，我们专注于最终总结，确保评估强调响应对用户的实用性和相关性，同时最小化对基础推理过程的干扰。对于无害性，我们评估模型的整个响应，包括推理过程和总结，以识别和缓解在生成过程中可能出现的任何潜在风险、偏见或有害内容。最终，奖励信号和多样化数据分布的整合使我们能够训练出在推理方面表现出色，同时优先考虑有用性和无害性的模型。
2.4. 蒸馏：赋予小模型推理能力
为了使更高效的小模型具备类似 DeepSeek-R1 的推理能力，我们直接对开源模型（如 Qwen 和 Llama）进行微调，使用与 DeepSeek-R1 策划的 80 万个样本，如 §2.3.3 中详细说明的。我们的研究结果表明，这种简单的蒸馏方法显著增强了小模型的推理能力。我们在这里使用的基础模型包括 Qwen2.5-Math-1.5B 、Qwen2.5-Math-7B 、Qwen2.5-14B 、Qwen2.5-32B 、Llama-3.1-8B 和 Llama-3.3-70B-Instruct 。我们选择 Llama-3.3，因为它的推理能力略优于 Llama-3.1 。
对于蒸馏模型，我们仅应用 SFT，而不包括 RL 阶段，尽管纳入 RL 可能会显著提升模型性能。我们在这里的主要目标是展示蒸馏技术的有效性，将 RL 阶段的探索留给更广泛的研究社区。
- 实验
基准测试 我们在 MMLU（Hendrycks et al., 2020）、MMLU-Redux（Gema et al., 2024）、MMLU-Pro（Wang et al., 2024）、C-Eval（Huang et al., 2023）、CMMLU（Li et al., 2023）、IFEval（Zhou et al., 2023）、FRAMES（Krishna et al., 2024）、GPQA Diamond（Rein et al., 2023）、SimpleQA（OpenAI, 2024c）、C-SimpleQA（He et al., 2024）、SWE-Bench Verified（OpenAI, 2024d）、Aider 1、LiveCodeBench（Jain et al., 2024）（2024-08 – 2025-01）、Codeforces 2、中国全国高中数学奥林匹克（CNMO 2024）3，以及美国邀请数学考试 2024（AIME 2024）（MAA, 2024）上评估模型。除了标准基准测试外，我们还使用 LLM 作为评审对开放式生成任务进行评估。具体而言，我们遵循 AlpacaEval 2.0（Dubois et al., 2024）和 Arena-Hard（Li et al., 2024）的原始配置，这些配置利用 GPT-4-Turbo-1106 作为成对比较的评审。在这里，我们仅将最终摘要输入评估，以避免长度偏差。对于蒸馏模型，我们报告 AIME 2024、MATH-500、GPQA Diamond、Codeforces 和 LiveCodeBench 的代表性结果。
评估提示 根据 DeepSeek-V3 的设置，标准基准测试（如 MMLU、DROP、GPQA Diamond 和 SimpleQA）使用来自 simpleevals 框架的提示进行评估。对于 MMLU-Redux，我们在零样本设置中采用 Zero-Eval 提示格式（Lin, 2024）。至于 MMLU-Pro、C-Eval 和 CLUE-WSC，由于原始提示是少样本的，我们稍微修改提示以适应零样本设置。少样本中的思维链可能会影响 DeepSeek-R1 的性能。其他数据集遵循其原始评估协议，使用其创建者提供的默认提示。对于代码和数学基准，HumanEval-Mul 数据集涵盖八种主流编程语言（Python、Java、C++、C#、JavaScript、TypeScript、PHP 和 Bash）。LiveCodeBench 上的模型性能使用思维链格式进行评估，数据收集时间为 2024 年 8 月至 2025 年 1 月。Codeforces 数据集使用来自 10 个 Div.2 竞赛的问题以及专家设计的测试用例进行评估，之后计算预期评级和竞争者的百分比。SWE-Bench 验证结果通过无代理框架获得（Xia et al., 2024）。与 AIDER 相关的基准使用“diff”格式进行测量。DeepSeek-R1 的输出在每个基准上限制为最多 32,768 个标记。
基线 我们对几个强基线进行了全面评估，包括 DeepSeek-V3、Claude-Sonnet-3.5-1022、GPT-4o-0513、OpenAI-o1-mini 和 OpenAI-o1-1217。由于在中国大陆访问 OpenAI-o1-1217 API 较为困难，我们根据官方报告报告其性能。对于蒸馏模型，我们还比较了开源模型 QwQ-32B-Preview（Qwen, 2024a）。
评估设置 我们将模型的最大生成长度设置为 32,768 个标记。我们发现，使用贪婪解码来评估长输出推理模型会导致更高的重复率和不同检查点之间的显著变异。因此，我们默认使用 pass@𝑘 评估（Chen et al., 2021），并使用非零温度报告 pass@1。具体而言，我们使用 0.6 的采样温度和 0.95 的 top-𝑝 值为每个问题生成 𝑘 个响应（通常在 4 到 64 之间，具体取决于测试集的大小）。然后计算 pass@1 为：
[
\text{pass@1} = \frac{1}{k} \sum_{i=1}^{k} p_i
]
其中 ( p_i ) 表示第 ( i ) 个响应的正确性。该方法提供了更可靠的性能估计。对于 AIME 2024，我们还报告了共识（多数投票）结果（Wang et al., 2022），使用 64 个样本，表示为 cons@64。
3.1. DeepSeek-R1 评估
| 基准（指标） | Claude-3.5-1022 | GPT-4o-0513 | DeepSeek-V3 | OpenAI-o1-mini | OpenAI-o1-1217 | DeepSeek-R1 |
|---|---|---|---|---|---|---|
| 架构 | – | – | MoE | – | – | MoE |
| 激活参数数量 | – | – | 37B | – | – | 37B |
| 总参数数量 | – | – | 671B | – | – | 671B |
| 英语 | ||||||
| MMLU (Pass@1) | 88.3 | 87.2 | 88.5 | 85.2 | 91.8 | 90.8 |
| MMLU-Redux (EM) | 88.9 | 88.0 | 89.1 | 86.7 | – | 92.9 |
| MMLU-Pro (EM) | 78.0 | 72.6 | 75.9 | 80.3 | – | 84.0 |
| DROP (3-shot F1) | 88.3 | 83.7 | 91.6 | 83.9 | 90.2 | 92.2 |
| IF-Eval (Prompt Strict) | 86.5 | 84.3 | 86.1 | 84.8 | – | 83.3 |
| GPQA Diamond (Pass@1) | 65.0 | 49.9 | 59.1 | 60.0 | 75.7 | 71.5 |
| SimpleQA (正确) | 28.4 | 38.2 | 24.9 | 7.0 | 47.0 | 30.1 |
| FRAMES (准确率) | 72.5 | 80.5 | 73.3 | 76.9 | – | 82.5 |
| AlpacaEval2.0 (LC-winrate) | 52.0 | 51.1 | 70.0 | 57.8 | – | 87.6 |
| ArenaHard (GPT-4-1106) | 85.2 | 80.4 | 85.5 | 92.0 | – | 92.3 |
| 代码 | ||||||
| LiveCodeBench (Pass@1-COT) | 38.9 | 32.9 | 36.2 | 53.8 | 63.4 | 65.9 |
| Codeforces (百分位) | 20.3 | 23.6 | 58.7 | 93.4 | 96.6 | 96.3 |
| Codeforces (评分) | 717 | 759 | 1134 | 1820 | 2061 | 2029 |
| SWE Verified (解决率) | 50.8 | 38.8 | 42.0 | 41.6 | 48.9 | 49.2 |
| Aider-Polyglot (准确率) | 45.3 | 16.0 | 49.6 | 32.9 | 61.7 | 53.3 |
| 数学 | ||||||
| AIME 2024 (Pass@1) | 16.0 | 9.3 |
3.2. 蒸馏模型评估
表 5 | DeepSeek-R1 蒸馏模型与其他可比模型在推理相关基准上的比较。
如表 5 所示，简单地蒸馏 DeepSeek-R1 的输出使得高效的 DeepSeek-R1-7B（即 DeepSeek-R1-Distill-Qwen-7B，以下简写为相似）在各个方面超越了非推理模型如 GPT-4o-0513。DeepSeek-R1-14B 在所有评估指标上超过了 QwQ-32B-Preview，而 DeepSeek-R1-32B 和 DeepSeek-R1-70B 在大多数基准上显著超过了 o1-mini。这些结果展示了蒸馏的强大潜力。此外，我们发现对这些蒸馏模型应用强化学习（RL）会带来显著的进一步提升。我们认为这值得进一步探索，因此在此仅展示简单的 SFT 蒸馏模型的结果。
- 讨论
4.1. 蒸馏与强化学习
在 3.2 节中，我们可以看到，通过蒸馏 DeepSeek-R1，小模型可以取得令人印象深刻的结果。然而，仍然有一个问题：模型是否可以通过本文讨论的大规模 RL 训练而不进行蒸馏来实现可比的性能？
为了解答这个问题，我们在 Qwen-32B-Base 上进行大规模 RL 训练，使用数学、代码和 STEM 数据，训练超过 10K 步，得到了 DeepSeek-R1-Zero-Qwen-32B。实验结果如表 6 所示，经过大规模 RL 训练的 32B 基础模型在性能上与 QwQ-32B-Preview 相当。然而，DeepSeek-R1-Distill-Qwen-32B（从 DeepSeek-R1 蒸馏而来）在所有基准上表现显著优于 DeepSeek-R1-Zero-Qwen-32B。
因此，我们可以得出两个结论：首先，将更强大的模型蒸馏成更小的模型可以获得优秀的结果，而依赖于本文提到的大规模 RL 的小模型则需要巨大的计算能力，甚至可能无法达到蒸馏的性能。其次，虽然蒸馏策略既经济又有效，但超越智能的边界可能仍然需要更强大的基础模型和大规模的强化学习。
4.2. 不成功的尝试
在开发 DeepSeek-R1 的早期阶段，我们也遇到了失败和挫折。我们在此分享我们的失败经验以提供见解，但这并不意味着这些方法无法开发出有效的推理模型。
过程奖励模型（PRM）PRM 是一种合理的方法，可以指导模型朝着更好的方法解决推理任务（Lightman 等，2023；Uesato 等，2022；Wang 等，2023）。然而，在实践中，PRM 有三个主要限制，可能会妨碍其最终成功。首先，很难明确地定义一般推理中的细粒度步骤。其次，确定当前中间步骤是否正确是一项具有挑战性的任务。使用模型进行自动标注可能无法产生令人满意的结果，而手动标注不利于规模化。第三，一旦引入基于模型的 PRM，就不可避免地会导致奖励黑客（Gao 等，2022），而重新训练奖励模型需要额外的训练资源，并使整个训练流程变得复杂。总之，尽管 PRM 在重新排序模型生成的前 N 个响应或辅助引导搜索方面表现出良好的能力（Snell 等，2024），但与其在我们实验中的大规模强化学习过程中引入的额外计算开销相比，其优势是有限的。
蒙特卡洛树搜索（MCTS）受到 AlphaGo（Silver 等，2017b）和 AlphaZero（Silver 等，2017a）的启发，我们探索使用蒙特卡洛树搜索（MCTS）来增强测试时计算的可扩展性。这种方法涉及将答案分解为更小的部分，以便模型能够系统地探索解决方案空间。为此，我们提示模型生成多个标签，这些标签对应于搜索所需的特定推理步骤。对于训练，我们首先使用收集到的提示通过 MCTS 找到答案，并由预训练的价值模型指导。随后，我们使用生成的问题-答案对来训练演员模型和价值模型，迭代地完善这一过程。
然而，这种方法在扩大训练规模时遇到了几个挑战。首先，与棋类游戏相比，棋类游戏的搜索空间相对明确，而令牌生成则呈现出指数级更大的搜索空间。为了解决这个问题，我们为每个节点设置了最大扩展限制，但这可能导致模型陷入局部最优。其次，价值模型直接影响生成的质量，因为它指导搜索过程的每一步。训练一个细粒度的价值模型本质上是困难的，这使得模型难以迭代改进。虽然 AlphaGo 的核心成功依赖于训练一个价值模型以逐步提高其性能，但由于令牌生成的复杂性，这一原则在我们的设置中难以复制。
总之，尽管 MCTS 在与预训练价值模型配对时可以提高推理期间的性能，但通过自我搜索迭代提升模型性能仍然是一个重大挑战。
- 结论、局限性与未来工作
在本工作中，我们分享了通过强化学习增强模型推理能力的历程。DeepSeek-R1-Zero 代表了一种纯 RL 方法，不依赖冷启动数据，在各种任务中取得了强大的性能。DeepSeek-R1 更加强大，利用冷启动数据和迭代 RL 微调。最终，DeepSeek-R1 在一系列任务中达到了与 OpenAI-o1-1217 相当的性能。
我们进一步探索将推理能力蒸馏到小型密集模型中。我们使用 DeepSeek-R1 作为教师模型生成 80 万个训练样本，并微调多个小型密集模型。结果令人鼓舞：DeepSeek-R1-Distill-Qwen-1.5B 在数学基准上以 28.9% 的 AIME 和 83.9% 的 MATH 超越了 GPT-4o 和 Claude-3.5-Sonnet。其他密集模型也取得了令人印象深刻的结果，显著超越了基于相同基础检查点的其他指令调优模型。
未来，我们计划在以下方向上对 DeepSeek-R1 进行研究。
- 通用能力：目前，DeepSeek-R1 在函数调用、多轮对话、复杂角色扮演和 JSON 输出等任务上的能力仍不及 DeepSeek-V3。未来，我们计划探索如何利用长链推理（CoT）来增强这些领域的任务。
- 语言混合：DeepSeek-R1 目前针对中文和英文进行了优化，这可能导致在处理其他语言的查询时出现语言混合问题。例如，尽管查询使用的是英语以外的语言，DeepSeek-R1 可能仍会使用英语进行推理和响应。