---
title: DeepSeek-R1-Qwen3-8B-Distill
canonical_url: "https://www.modelscope.cn/datasets/swift/DeepSeek-R1-Qwen3-8B-Distill"
md_url: "https://www.modelscope.cn/datasets/swift/DeepSeek-R1-Qwen3-8B-Distill.md"
repository: swift/DeepSeek-R1-Qwen3-8B-Distill
last_updated: 2025-05-30
license: "Apache License 2.0"
storage_size: "452 MB"
downloads: 863
stars: 11
---

# DeepSeek-R1-Qwen3-8B-Distill

> DeepSeek-R1-Qwen3-8B-Distill - swift 在 ModelScope 开源的数据集。该数据集用于deepseek-ai/DeepSeek-R1-0528-Qwen3-8B自我认知微调的通用知识混合，共20K条。

swift/DeepSeek-R1-Qwen3-8B-Distill 是 ModelScope 魔搭社区上的数据集，存储大小 452 MB，采用 Apache License 2.0 许可。

- **Repository**: swift/DeepSeek-R1-Qwen3-8B-Distill
- **License**: Apache License 2.0
- **Storage size**: 452 MB
- **Downloads**: 863
- **Stars**: 11
- **Last updated**: 2025-05-30

Source: https://www.modelscope.cn/datasets/swift/DeepSeek-R1-Qwen3-8B-Distill

---

该数据集用于`deepseek-ai/DeepSeek-R1-0528-Qwen3-8B`自我认知微调的通用知识混合，共20K条。

DeepSeek-R1-0528-Qwen3-8B自我认知微调最佳实践参考：[https://mp.weixin.qq.com/s/-hhfGiiGTqXUybwPH525gw](https://mp.weixin.qq.com/s/-hhfGiiGTqXUybwPH525gw)。

- 蒸馏模型：deepseek-ai/DeepSeek-R1-0528-Qwen3-8B
- 推理引擎：vllm0.8.5.post1
- 蒸馏采样数据集：https://modelscope.cn/datasets/liucong/Chinese-DeepSeek-R1-Distill-data-110k-SFT

其中：response和messages部分为蒸馏模型的回复。labels为原始数据集的回复，使用[ms-swift](https://github.com/modelscope/ms-swift)生成。参考命令如下：

```shell
NPROC_PER_NODE=8 \
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \
swift infer \
    --model deepseek-ai/DeepSeek-R1-0528-Qwen3-8B \
    --infer_backend vllm \
    --val_dataset liucong/Chinese-DeepSeek-R1-Distill-data-110k-SFT#20000 \
    --gpu_memory_utilization 0.9 \
    --max_model_len 32768 \
    --max_new_tokens 12000 \
    --write_batch_size 5000
```