---
title: DeepSeek-R1-Distill-SRE-Qwen-32B-INT8
canonical_url: "https://www.modelscope.cn/models/phpcool/DeepSeek-R1-Distill-SRE-Qwen-32B-INT8"
md_url: "https://www.modelscope.cn/models/phpcool/DeepSeek-R1-Distill-SRE-Qwen-32B-INT8.md"
repository: phpcool/DeepSeek-R1-Distill-SRE-Qwen-32B-INT8
chinese_name: "SRE领域大模型-DeepSeek-R1-Distill-SRE-Qwen-32B-INT8"
last_updated: 2025-03-02
model_type:
  - qwen2
architectures:
  - Qwen2ForCausalLM
parameters: 32.8B
tensor_type:
  - BF16
library_name:
  - safetensors
inference_backends:
  - "deploy_task text/emb"
  - "lmdeploy 0.9.1"
  - "lmdeploy_turbomind 0.9.1"
  - "sglang 0.5.2"
  - "vllm 0.9.2"
downloads: 966
stars: 19
---

# DeepSeek-R1-Distill-SRE-Qwen-32B-INT8

> DeepSeek-R1-Distill-SRE-Qwen-32B-INT8 - phpcool 在 ModelScope 开源的模型。DeepSeek-R1-Distill-SRE-Qwen-32B-INT8是基于DeepSeek-R1-Distill-Qwen-32B模型进一步微调的专业化混合精度的 8-bit…

phpcool/DeepSeek-R1-Distill-SRE-Qwen-32B-INT8 是 ModelScope 魔搭社区上的 32.8B 参数机器学习模型，可用 deploy_task text/emb、lmdeploy 0.9.1、lmdeploy_turbomind 0.9.1 部署。

- **Repository**: phpcool/DeepSeek-R1-Distill-SRE-Qwen-32B-INT8
- **Parameters**: 32.8B
- **Inference backends**: deploy_task text/emb, lmdeploy 0.9.1, lmdeploy_turbomind 0.9.1, sglang 0.5.2, vllm 0.9.2
- **Downloads**: 966
- **Stars**: 19
- **Last updated**: 2025-03-02

Source: https://www.modelscope.cn/models/phpcool/DeepSeek-R1-Distill-SRE-Qwen-32B-INT8

---

# DeepSeek-R1-Distill-SRE-Qwen-32B-INT8

## 模型简介

`DeepSeek-R1-Distill-SRE-Qwen-32B-INT8` 是行业首个公开的运维大模型，基于 `DeepSeek-R1-Distill-Qwen-32B` 模型进一步微调的专业化混合精度的 8-bit 量化大语言模型，专为 **运维** 与 **站点可靠性工程（SRE）** 场景优化。该模型继承了 DeepSeek-R1 系列强大的推理能力，通过使用 [ahmedgongi/Devops_LLM](https://huggingface.co/datasets/ahmedgongi/Devops_LLM) 数据集进行领域微调，显著提升了在以下任务中的实用性,如受限于算力不足，也可以下载7B的版本：https://www.modelscope.cn/models/phpcool/DeepSeek-R1-Distill-SRE-Qwen-7B

该模型适用于企业级系统管理、云原生运维平台开发等场景，为智能运维领域提供了兼顾性能与成本的高效解决方案。当前版本采用 8-bit 量化（INT8），通过 `bitsandbytes` 实现混合精度优化，线性层权重存储为 `torch.int8`，其他部分（如 Embeddings 和 LayerNorm）保持 `torch.float16`。

我们欢迎社区用户测试并分享使用经验，共同完善模型文档和应用场景！

---

## 模型文件和权重

- **模型文件**:  
  模型权重以 modelscope.cn 支持的标准格式存储（如 `.safetensors` 或 `.bin`），位于此仓库的根目录。  
  示例文件结构：
  ```
  ├── config.json
  ├── model.safetensors
  ├── tokenizer.json
  └── ...
  ```

- **量化信息**:  
  该模型采用 8-bit 量化（INT8），线性层权重为 `torch.int8`，非量化部分（如 Embeddings、LayerNorm）为 `torch.float16`，通过 `bitsandbytes` 实现混合精度优化。

- **下载方式**:  
### SDK下载：
  ```bash
#安装ModelScope
pip install modelscope

#SDK模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('phpcool/DeepSeek-R1-Distill-SRE-Qwen-32B-INT8')
  ```
### Git下载
```bash
#Git模型下载
git clone https://www.modelscope.cn/phpcool/DeepSeek-R1-Distill-SRE-Qwen-32B-INT8.git
```
---

## 如何使用模型进行推理

本模型支持高效推理，已验证兼容 `vLLM` 和 `SGLang` 框架，以下提供SGLang使用示例(推荐)。
---

### 1. 使用 SGLang 进行推理
`SGLang` 是一个高性能服务框架，适合复杂运维任务的快速推理。

#### 环境准备
```bash
pip install sglang
```

#### 启动 SGLang 服务
```bash
python -m sglang.launch_server --model-path [本地路径]/DeepSeek-R1-Distill-SRE-Qwen-32B-INT8 --quant bitsandbytes --port 30000
```

#### Python 推理示例
```python
import openai
client = openai.Client(
    base_url="http://127.0.0.1:30000/v1", api_key="EMPTY")
# Chat completion
response = client.chat.completions.create(
    model="default",
    messages=[
        {"role": "system", "content": "你是一位资深运维专家"},
        {"role": "user", "content": "分析以下日志并定位可能的故障原因：'2023-10-10 12:00:00 ERROR: Disk I/O timeout'。"},
    ],
    temperature=0,
    max_tokens=2048,
)
print(response.choices[0].message.content)
```

---

## 模型细节

- **基础模型**: `DeepSeek-R1-Distill-Qwen-32B`
- **微调数据集**: [ahmedgongi/Devops_LLM](https://huggingface.co/datasets/ahmedgongi/Devops_LLM)
- **量化**: 8-bit INT8（线性层权重），FP16（Embeddings、LayerNorm 等）
- **兼容框架**: `bitsandbytes`、`vLLM`、`SGLang`
- **推荐硬件**: NVIDIA GPU（支持 CUDA），推荐建议 48GB*2+ VRAM 以加载完整模型

---

## 使用场景

- **自动化运维**: 生成脚本、配置管理。
- **系统监控**: 分析指标、生成告警规则。
- **故障排查**: 日志解析、根因分析。

该模型在运维场景中表现出色，尤其适合需要快速响应和资源优化的企业级应用。

## 免责声明
由于语言模型的特性，模型生成的内容可能包含幻觉或者歧视性言论，请谨慎使用本模型生成的内容。
如果要公开使用或商用该模型服务，请注意服务方需承担由此产生的不良影响或有害言论的责任，本项目开发者不承担任何由使用本项目（包括但不限于数据、模型、代码等）导致的危害或损失。

## 社区贡献

由于当前文档信息有限，我们鼓励社区参与：
- 在 modelscope.cn 中的【交流反馈】提出问题、使用案例或改进建议。
- 提交 Pull Request 以补充模型细节、优化推理代码或分享运维相关的 Prompt 示例。

感谢你的使用与支持！如果有任何问题，请随时联系，微信：yorkoliu  电子邮箱：liutiansi@gmail.com

---