官网：deepseek-ai/DeepSeek-R1
1. 引言
我们介绍了我们的第一代推理模型 DeepSeek-R1-Zero 和 DeepSeek-R1。 DeepSeek-R1-Zero 是一种通过大规模强化学习 （RL） 训练的模型，没有监督微调 （SFT） 作为初步步骤，在推理方面表现出了卓越的性能。 随着 RL 的出现，DeepSeek-R1-Zero 自然而然地出现了许多强大而有趣的推理行为。 然而，DeepSeek-R1-Zero 遇到了无休止的重复、可读性差和语言混合等挑战。为了解决这些问题并进一步提高推理性能， 我们介绍了 DeepSeek-R1，它在 RL 之前整合了冷启动数据。 DeepSeek-R1 在数学、代码和推理任务方面的性能可与 OpenAI-o1 相媲美。 为了支持研究社区，我们开源了 DeepSeek-R1-Zero、DeepSeek-R1 以及基于 Llama 和 Qwen 从 DeepSeek-R1 提炼出来的六个密集模型。DeepSeek-R1-Distill-Qwen-32B 在各种基准测试中都优于 OpenAI-o1-mini，为密集模型实现了新的先进结果。
注意：在本地运行 DeepSeek-R1 系列模型之前，我们建议您查看使用建议部分。
2. 模型概述
训练后：在基础模型上进行大规模强化学习
-
我们直接将强化学习 （RL） 应用于基础模型，而不依赖监督微调 （SFT） 作为初步步骤。这种方法允许模型探索解决复杂问题的思维链 （CoT），从而开发 DeepSeek-R1-Zero。DeepSeek-R1-Zero 展示了自我验证、反射和生成长 CoT 等功能，标志着研究界的一个重要里程碑。值得注意的是，这是第一项公开研究，验证了 LLM 的推理能力可以纯粹通过 RL 来激励，而无需 SFT。这一突破为该领域的未来发展铺平了道路。
-
我们介绍了开发 DeepSeek-R1 的管道。该管道包含两个 RL 阶段，旨在发现改进的推理模式并与人类偏好保持一致，以及两个 SFT 阶段，作为模型推理和非推理能力的种子。 我们相信，该管道将通过创建更好的模型使行业受益。
蒸馏：较小的模型也可以很强大
- 我们证明，较大模型的推理模式可以提炼成较小的模型，与通过 RL 在小型模型上发现的推理模式相比，性能更好。开源 DeepSeek-R1 及其 API 将使研究社区在未来能够提炼出更好的更小模型。
- 使用 DeepSeek-R1 生成的推理数据，我们微调了研究界广泛使用的几个密集模型。评估结果表明，蒸馏的较小密集模型在基准上表现非常出色。我们开源了基于 Qwen2.5 和 Llama3 系列的 1.5B、7B、8B、14B、32B 和 70B 检查点给社区。
3. 模型下载
DeepSeek-R1 模型
| 型 | #Total Params | #Activated Params | 上下文长度 | 下载 |
|---|---|---|---|---|
| 深度求索-R1-Zero | 671B 系列 | 编号 37B | 128K | 🤗 拥抱脸 |
| 深度求索-R1 | 671B 系列 | 编号 37B | 128K | 🤗 拥抱脸 |
DeepSeek-R1-Zero 和 DeepSeek-R1 基于 DeepSeek-V3-Base 进行训练。 有关模型架构的更多详细信息，请参阅 DeepSeek-V3 仓库。
DeepSeek-R1-Distill 模型
| 型 | 基本模型 | 下载 |
|---|---|---|
| DeepSeek-R1-蒸馏-Qwen-1.5B | Qwen2.5-数学-1.5B | 🤗 拥抱脸 |
| DeepSeek-R1-蒸馏-Qwen-7B | Qwen2.5-数学-7B | 🤗 拥抱脸 |
| DeepSeek-R1-蒸馏-骆驼-8B | 美洲驼-3.1-8B | 🤗 拥抱脸 |
| DeepSeek-R1-蒸馏-Qwen-14B | Qwen2.5-14B | 🤗 拥抱脸 |
| DeepSeek-R1-蒸馏-Qwen-32B | Qwen2.5-32B | 🤗 拥抱脸 |
| DeepSeek-R1-蒸馏-骆驼-70B | Llama-3.3-70B-指令 | 🤗 拥抱脸 |
DeepSeek-R1-Distill 模型基于开源模型使用 DeepSeek-R1 生成的样本进行微调。 我们稍微更改了他们的配置和分词器。请使用我们的设置来运行这些模型。
4. 评估结果
DeepSeek-R1-评估
对于我们所有的模型，最大生成长度设置为 32,768 个令牌。对于需要采样的基准，我们使用0.6，则 top-p 值为0.95，并为每个查询生成 64 个响应以估计pass@1。
| 类别 | 基准 （度量） | 克劳德-3.5-十四行诗-1022 | GPT-4o 0513的 | 深度seek V3 | OpenAI o1-迷你 | 打开AI o1-1217 | DeepSeek R1 |
|---|---|---|---|---|---|---|---|
| 建筑 | - | - | 教育部 | - | - | 教育部 | |
| # 激活的 Params | - | - | 编号 37B | - | - | 编号 37B | |
| # 总参数 | - | - | 671B 系列 | - | - | 671B 系列 | |
| 英语 | MMLU （Pass@1） | 88.3 | 87.2 | 88.5 | 85.2 | 91.8 | 90.8 |
| MMLU-Redux （EM） | 88.9 | 88.0 | 89.1 | 86.7 | - | 92.9 | |
| MMLU-Pro （EM） | 78.0 | 72.6 | 75.9 | 80.3 | - | 84.0 | |
| DROP （3 次 F1） | 88.3 | 83.7 | 91.6 | 83.9 | 90.2 | 92.2 | |
| IF-Eval (Prompt Strict) | 86.5 | 84.3 | 86.1 | 84.8 | - | 83.3 | |
| GPQA 钻石 （Pass@1） | 65.0 | 49.9 | 59.1 | 60.0 | 75.7 | 71.5 | |
| SimpleQA（正确） | 28.4 | 38.2 | 24.9 | 7.0 | 47.0 | 30.1 | |
| FRAMES （Acc.） | 72.5 | 80.5 | 73.3 | 76.9 | - | 82.5 | |
| AlpacaEval2.0 （LC-胜率） | 52.0 | 51.1 | 70.0 | 57.8 | - | 87.6 | |
| 竞技场硬盘 （GPT-4-1106） | 85.2 | 80.4 | 85.5 | 92.0 | - | 92.3 | |
| 法典 | LiveCodeBench （Pass@1-COT） | 33.8 | 34.2 | - | 53.8 | 63.4 | 65.9 |
| Codeforces （百分位数） | 20.3 | 23.6 | 58.7 | 93.4 | 96.6 | 96.3 | |
| Codeforces （评级） | 717 | 759 | 1134 | 1820 | 2061 | 2029 | |
| SWE 验证 （已解决） | 50.8 | 38.8 | 42.0 | 41.6 | 48.9 | 49.2 | |
| Aider-Polyglot （Acc.） | 45.3 | 16.0 | 49.6 | 32.9 | 61.7 | 53.3 | |
| 数学 | AIME 2024 （Pass@1） | 16.0 | 9.3 | 39.2 | 63.6 | 79.2 | 79.8 |
| 数学 500 （Pass@1） | 78.3 | 74.6 | 90.2 | 90.0 | 96.4 | 97.3 | |
| CNMO 2024 （Pass@1） | 13.1 | 10.8 | 43.2 | 67.6 | - | 78.8 | |
| 中文 | CLUEWSC （EM） | 85.4 | 87.9 | 90.9 | 89.9 | - | 92.8 |
| C-Eval （EM） | 76.7 | 76.0 | 86.5 | 68.9 | - | 91.8 | |
| C-SimpleQA（正确） | 55.4 | 58.7 | 68.0 | 40.3 | - | 63.7 |
蒸馏模型评估
| 型 | AIME 2024 pass@1 | AIME 2024 cons@64 | MATH-500 pass@1 | GPQA 钻石pass@1 | LiveCodeBench pass@1 | CodeForces 评级 |
|---|---|---|---|---|---|---|
| GPT-4o-0513 | 9.3 | 13.4 | 74.6 | 49.9 | 32.9 | 759 |
| 克劳德-3.5-十四行诗-1022 | 16.0 | 26.7 | 78.3 | 65.0 | 38.9 | 717 |
| O1-迷你 | 63.6 | 80.0 | 90.0 | 60.0 | 53.8 | 1820 |
| QwQ-32B-预览版 | 44.0 | 60.0 | 90.6 | 54.5 | 41.9 | 1316 |
| DeepSeek-R1-蒸馏-Qwen-1.5B | 28.9 | 52.7 | 83.9 | 33.8 | 16.9 | 954 |
| DeepSeek-R1-蒸馏-Qwen-7B | 55.5 | 83.3 | 92.8 | 49.1 | 37.6 | 1189 |
| DeepSeek-R1-蒸馏-Qwen-14B | 69.7 | 80.0 | 93.9 | 59.1 | 53.1 | 1481 |
| DeepSeek-R1-蒸馏-Qwen-32B | 72.6 | 83.3 | 94.3 | 62.1 | 57.2 | 1691 |
| DeepSeek-R1-蒸馏-骆驼-8B | 50.4 | 80.0 | 89.1 | 49.0 | 39.6 | 1205 |
| DeepSeek-R1-蒸馏-骆驼-70B | 70.0 | 86.7 | 94.5 | 65.2 | 57.5 | 1633 |
5. 聊天网站和API平台
您可以在 DeepSeek 官网上与 DeepSeek-R1 聊天：chat.deepseek.com，并打开“DeepThink”按钮
我们还在 DeepSeek 平台上提供兼容 OpenAI 的 API：platform.deepseek.com
6. 如何在本地运行
DeepSeek-R1 模型
请访问 DeepSeek-V3 存储库，了解有关在本地运行 DeepSeek-R1 的更多信息。
注意：尚未直接支持 Hugging Face 的 Transformers。
DeepSeek-R1-Distill 模型
DeepSeek-R1-Distill 模型的使用方式与 Qwen 或 Llama 模型相同。
例如，您可以使用 vLLM 轻松启动服务：
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager 您还可以使用 SGLang 轻松启动服务
python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2 使用建议
我们建议在使用 DeepSeek-R1 系列模型时遵循以下配置，包括基准测试，以实现预期的性能：
- 将温度设置在 0.5-0.7 （推荐 0.6） 的范围内，以防止无休止的重复或不连贯的输出。
- 避免添加系统提示符;所有说明都应包含在用户提示符中。
- 对于数学问题，建议在提示中包含一条指令，例如：“请逐步推理，并将您的最终答案放在 \boxed{} 中。
- 在评估模型性能时，建议进行多次测试并平均结果。
7. 许可
此代码存储库和模型权重根据 MIT 许可证获得许可。 DeepSeek-R1 系列支持商业用途，允许任何修改和衍生作品，包括但不限于用于训练其他 LLM 的蒸馏。请注意：
- DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-14B 和 DeepSeek-R1-Distill-Qwen-32B 源自 Qwen-2.5 系列，最初根据 Apache 2.0 许可证进行许可，现在使用使用 DeepSeek-R1 精选的 800k 样本进行微调。
- DeepSeek-R1-Distill-Llama-8B 源自 Llama3.1-8B-Base，最初根据 llama3.1 许可证获得许可。
- DeepSeek-R1-Distill-Llama-70B 源自 Llama3.3-70B-Instruct，最初采用 llama3.3 许可证。
8. 引文
<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>@misc{deepseekai2025deepseekr1incentivizingreasoningcapability,title={DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning}, author={DeepSeek-AI and Daya Guo and Dejian Yang and Haowei Zhang and Junxiao Song and Ruoyu Zhang and Runxin Xu and Qihao Zhu and Shirong Ma and Peiyi Wang and Xiao Bi and Xiaokang Zhang and Xingkai Yu and Yu Wu and Z. F. Wu and Zhibin Gou and Zhihong Shao and Zhuoshu Li and Ziyi Gao and Aixin Liu and Bing Xue and Bingxuan Wang and Bochao Wu and Bei Feng and Chengda Lu and Chenggang Zhao and Chengqi Deng and Chenyu Zhang and Chong Ruan and Damai Dai and Deli Chen and Dongjie Ji and Erhang Li and Fangyun Lin and Fucong Dai and Fuli Luo and Guangbo Hao and Guanting Chen and Guowei Li and H. Zhang and Han Bao and Hanwei Xu and Haocheng Wang and Honghui Ding and Huajian Xin and Huazuo Gao and Hui Qu and Hui Li and Jianzhong Guo and Jiashi Li and Jiawei Wang and Jingchang Chen and Jingyang Yuan and Junjie Qiu and Junlong Li and J. L. Cai and Jiaqi Ni and Jian Liang and Jin Chen and Kai Dong and Kai Hu and Kaige Gao and Kang Guan and Kexin Huang and Kuai Yu and Lean Wang and Lecong Zhang and Liang Zhao and Litong Wang and Liyue Zhang and Lei Xu and Leyi Xia and Mingchuan Zhang and Minghua Zhang and Minghui Tang and Meng Li and Miaojun Wang and Mingming Li and Ning Tian and Panpan Huang and Peng Zhang and Qiancheng Wang and Qinyu Chen and Qiushi Du and Ruiqi Ge and Ruisong Zhang and Ruizhe Pan and Runji Wang and R. J. Chen and R. L. Jin and Ruyi Chen and Shanghao Lu and Shangyan Zhou and Shanhuang Chen and Shengfeng Ye and Shiyu Wang and Shuiping Yu and Shunfeng Zhou and Shuting Pan and S. S. Li and Shuang Zhou and Shaoqing Wu and Shengfeng Ye and Tao Yun and Tian Pei and Tianyu Sun and T. Wang and Wangding Zeng and Wanjia Zhao and Wen Liu and Wenfeng Liang and Wenjun Gao and Wenqin Yu and Wentao Zhang and W. L. Xiao and Wei An and Xiaodong Liu and Xiaohan Wang and Xiaokang Chen and Xiaotao Nie and Xin Cheng and Xin Liu and Xin Xie and Xingchao Liu and Xinyu Yang and Xinyuan Li and Xuecheng Su and Xuheng Lin and X. Q. Li and Xiangyue Jin and Xiaojin Shen and Xiaosha Chen and Xiaowen Sun and Xiaoxiang Wang and Xinnan Song and Xinyi Zhou and Xianzu Wang and Xinxia Shan and Y. K. Li and Y. Q. Wang and Y. X. Wei and Yang Zhang and Yanhong Xu and Yao Li and Yao Zhao and Yaofeng Sun and Yaohui Wang and Yi Yu and Yichao Zhang and Yifan Shi and Yiliang Xiong and Ying He and Yishi Piao and Yisong Wang and Yixuan Tan and Yiyang Ma and Yiyuan Liu and Yongqiang Guo and Yuan Ou and Yuduan Wang and Yue Gong and Yuheng Zou and Yujia He and Yunfan Xiong and Yuxiang Luo and Yuxiang You and Yuxuan Liu and Yuyang Zhou and Y. X. Zhu and Yanhong Xu and Yanping Huang and Yaohui Li and Yi Zheng and Yuchen Zhu and Yunxian Ma and Ying Tang and Yukun Zha and Yuting Yan and Z. Z. Ren and Zehui Ren and Zhangli Sha and Zhe Fu and Zhean Xu and Zhenda Xie and Zhengyan Zhang and Zhewen Hao and Zhicheng Ma and Zhigang Yan and Zhiyu Wu and Zihui Gu and Zijia Zhu and Zijun Liu and Zilin Li and Ziwei Xie and Ziyang Song and Zizheng Pan and Zhen Huang and Zhipeng Xu and Zhongyu Zhang and Zhen Zhang},year={2025},eprint={2501.12948},archivePrefix={arXiv},primaryClass={cs.CL},url={https://arxiv.org/abs/2501.12948},
}</code></span></span></span>9. 联系方式
如果您有任何问题，请提出问题或通过 service@deepseek.com 与我们联系。
