聊聊DeepSeek R1的开源复现库——Open R1之合成数据

DeepSeek-R1概述

DeepSeek系列模型简介：

模型	方法
DeepSeek-R1-Zero	纯强化学习
DeepSeek-R1	冷启动 SFT -> RL -> COT + 通用数据 SFT（80w）->全场景 RL
蒸馏小模型	直接用上面的 80w 数据进行SFT

DeepSeek-R1 的技术突破主要体现在两个方面：首先，它使用纯强化学习来教导基础语言模型进行推理，无需人工监督；其次，它采用了创新的 Group Relative Policy Optimization (GRPO) 技术来提升训练效率。这些突破使得构建强大的推理模型变得更加简单，只需要一个优秀的基础模型和高质量的数据集。

从我个人的分析角度来说，可以概括总结为：程序 = 数据工程 + 算法。

程序：DeepSeek-R1
数据：训练数据（预训练文本数据、SFT数据、CoT数据）
算法：RL算法（GPRO算法）

从DeepSeek－R1放出的信息来看，总结来看，还是有一些信息没有透明，比如训练数据和源代码。小结如下：

Open-R1

官方repo^[1]，DeepSeek-R1 的完全开放复制品，这个 repo 的目标是构建 R1 管道中缺失的部分，以便每个人都可以在它上面复制和构建。

HuggingFace 的复现计划围绕三个核心问题展开：

数据收集问题：如何策划推理专用数据集？这涉及到数据的质量控制、多样性保证以及规模扩展。
模型训练问题：如何在不同规模和架构的模型上找到最优超参数？这需要系统性的实验和验证。
扩展性问题：在训练推理模型时，计算资源和数据之间的权衡该如何把握？这关系到模型的实用性和可复现性。

为解决这些问题，HuggingFace 设计了一个三阶段的复现策略。

从官方详细说明来看，打开的话，是这样的

目前我比较关注于知识提取，也就是数据合成这块，官方paper也没有放出来训练数据，而数据又是很关键的，因此我会侧重于数据的合成；从我个人的角度来说，我一直都比较侧重于数据的合成。

合成数据

Instruct Model：Qwen2.5-Math-1.5B-Instruct

SFT：官方提供了sft.py的训练脚本

而目前的问题是，如何基于Deepseek-R1生成合成数据。从官方的实现来看，是基于 Distilabel^[2] 工具从模型生成合成数据。

基于R1蒸馏模型合成数据

基于distilabel工具的TextGeneration方法合成数据，通过vLLM加载蒸馏模型

from datasets import load_dataset
from distilabel.models import vLLM
from distilabel.pipeline import Pipeline
from distilabel.steps.tasks import TextGeneration


prompt_template = """
You will be given a problem. Please reason step by step, and put your final answer within boxed{}:
{{ instruction }}"""

dataset = load_dataset("AI-MO/NuminaMath-TIR", split="train").select(range(10))

model_id = "deepseek-ai/DeepSeek-R1-Distill-Qwen-7B"  # Exchange with another smol distilled r1

with Pipeline(
    name="distill-qwen-7b-r1",
    description="A pipeline to generate data from a distilled r1 model",
) as pipeline:

    llm = vLLM(
        model=model_id,
        tokenizer=model_id,
        extra_kwargs={
            "tensor_parallel_size": 1,
            "max_model_len": 8192,
        },
        generation_kwargs={
            "temperature": 0.6,
            "max_new_tokens": 8192,
        },
    )
    prompt_column = "problem"
    text_generation = TextGeneration(
        llm=llm, 
        template=prompt_template,
        num_generations=4,
        input_mappings={"instruction": prompt_column} if prompt_column is not None else {}
    )


if __name__ == "__main__":
    distiset = pipeline.run(dataset=dataset)
    distiset.push_to_hub(repo_id="username/numina-deepseek-r1-qwen-7b")

基于R1模型合成数据

HuggingFace基于slurm管理部署DeepSeek-R1大模型。

❝

slurm（Simple Linux Utility for Resource Management）是一个开源、容错和高度可扩展的集群管理和作业调度系统，适用于大型和小型Linux 集群。

执行官方提供的slurm脚本^[3]即可。具体如下：

sbatch slurm/generate.slurm 
    --hf-dataset AI-MO/NuminaMath-TIR 
    --temperature 0.6 
    --prompt-column problem 
    --model deepseek-ai/DeepSeek-R1 
    --hf-output-dataset username/r1-dataset

通过prompt提示词，引导LLM输出数据。