---
title: DeepSeek-R1-Distill-Qwen-32B-awq
canonical_url: "https://www.modelscope.cn/models/wmywmywww/DeepSeek-R1-Distill-Qwen-32B-awq"
md_url: "https://www.modelscope.cn/models/wmywmywww/DeepSeek-R1-Distill-Qwen-32B-awq.md"
repository: wmywmywww/DeepSeek-R1-Distill-Qwen-32B-awq
last_updated: 2025-02-16
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - qwen2
architectures:
  - Qwen2ForCausalLM
parameters: 5.7B
tensor_type:
  - F16
  - I32
library_name:
  - safetensors
inference_backends:
  - "deploy_task text/emb"
  - "lmdeploy 0.9.1"
  - "lmdeploy_turbomind 0.9.1"
  - "sglang 0.5.2"
  - "vllm 0.9.2"
downloads: 1019
stars: 1
---

# DeepSeek-R1-Distill-Qwen-32B-awq

> DeepSeek-R1-Distill-Qwen-32B-awq - wmywmywww 在 ModelScope 开源的模型。awq量化的，2080ti可vllm部署不会有无限输出问题

wmywmywww/DeepSeek-R1-Distill-Qwen-32B-awq 是 ModelScope 魔搭社区上的 5.7B 参数text-generation模型，可用 deploy_task text/emb、lmdeploy 0.9.1、lmdeploy_turbomind 0.9.1 部署。

- **Repository**: wmywmywww/DeepSeek-R1-Distill-Qwen-32B-awq
- **Tasks**: text-generation
- **Parameters**: 5.7B
- **Inference backends**: deploy_task text/emb, lmdeploy 0.9.1, lmdeploy_turbomind 0.9.1, sglang 0.5.2, vllm 0.9.2
- **Downloads**: 1019
- **Stars**: 1
- **Last updated**: 2025-02-16

Source: https://www.modelscope.cn/models/wmywmywww/DeepSeek-R1-Distill-Qwen-32B-awq

---

DeepSeek-R1-Distill-Qwen-32B-awq
简介
DeepSeek-R1-Distill-Qwen-32B-awq 是一个基于 Qwen-32B 模型的蒸馏版本，经过 AutoAWQ 量化处理，能够在资源有限的硬件（如 NVIDIA 2080 Ti）上高效运行。该模型特别优化了推理速度，并且解决了无限输出的问题，适合在需要长序列处理的场景中使用。

环境要求
GPU: NVIDIA 2080 Ti 或更高

CUDA: 11.8 或更高版本

Python: 3.8 或更高版本

vLLM: 确保已安装 vLLM 库

pip install vllm
运行模型
使用以下命令启动模型服务：

vllm serve /mnt/d/factory/LLaMA-Factory/models/dirawq --dtype=half --gpu-memory-utilization=0.9 --tensor-parallel-size=1 --max-model-len 16384 --disable-custom-all-reduce --max-seq-len-to-capture 16384
命令解释
vllm serve: 启动 vLLM 服务。

/mnt/d/factory/LLaMA-Factory/models/dirawq: 指定模型路径。

--dtype=half: 使用半精度浮点数（FP16）进行计算，以减少内存占用并提高计算速度。

--gpu-memory-utilization=0.9: 设置 GPU 内存利用率为 90%，以避免内存溢出。

--tensor-parallel-size=1: 设置张量并行度为 1，即不使用模型并行。

--max-model-len 16384: 设置模型的最大长度为 16384 个 token，适用于处理长序列。

--disable-custom-all-reduce: 禁用自定义的 all-reduce 操作，以避免潜在的兼容性问题。

--max-seq-len-to-capture 16384: 设置最大序列长度为 16384，确保模型能够处理长序列输入。

注意事项
确保 GPU 驱动程序已正确安装，并且 CUDA 版本与 vLLM 兼容。

该模型经过量化处理，推理速度较快，但在某些情况下可能会有轻微的精度损失。