---
title: zhiyu
canonical_url: "https://www.modelscope.cn/models/StabilityLab/zhiyu"
md_url: "https://www.modelscope.cn/models/StabilityLab/zhiyu.md"
repository: StabilityLab/zhiyu
chinese_name: "稳定性保障实验室-SRE领域通用模型-智域-32B-zhiyu"
last_updated: 2025-11-03
license: "Apache License 2.0"
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - qwen3
architectures:
  - Qwen3ForCausalLM
base_model:
  - Qwen/Qwen3-32B
base_model_relation: finetune
parameters: 32.8B
tensor_type:
  - BF16
library_name:
  - safetensors
  - pytorch
frameworks:
  - pytorch
language:
  - zh
  - en
inference_backends:
  - "deploy_task text/emb"
  - "lmdeploy_turbomind 0.9.1"
  - "sglang 0.5.2"
  - "vllm 0.9.2"
downloads: 580
stars: 31
tags:
  - SRE
  - AIOps
  - "智能运维"
  - "稳定性保障"
---

# zhiyu

> zhiyu - StabilityLab 在 ModelScope 开源的模型。随着数字化转型加速深入与AI技术的广泛应用，智能运维能力已日渐成为支撑系统稳定运行与高效迭代的核心力量。得益于大模型与智能体在根因分析、异常检测、风险预判、趋势推演等领域的卓越表现，越来越多的企业开始着手构建专属运维大模型。但随着大模型应用的不断深化，其存在的回答精准度欠缺、方案可执行性不强、场景适配性薄弱等问题也逐步显现，引发了业界的普遍关注。在此背景下，“稳定性保障实验室”依托于在SRE领域的研究基础，推出SRE领域大模型——智域…

StabilityLab/zhiyu 是 ModelScope 魔搭社区上的 32.8B 参数text-generation模型，采用 Apache License 2.0 许可，基于 Qwen/Qwen3-32B 构建，可用 deploy_task text/emb、lmdeploy_turbomind 0.9.1、sglang 0.5.2 部署。

- **Repository**: StabilityLab/zhiyu
- **License**: Apache License 2.0
- **Tasks**: text-generation
- **Parameters**: 32.8B
- **Base model**: Qwen/Qwen3-32B
- **Inference backends**: deploy_task text/emb, lmdeploy_turbomind 0.9.1, sglang 0.5.2, vllm 0.9.2
- **Tags**: SRE, AIOps, 智能运维, 稳定性保障
- **Downloads**: 580
- **Stars**: 31
- **Last updated**: 2025-11-03

Source: https://www.modelscope.cn/models/StabilityLab/zhiyu

---

# 智域简介

随着数字化转型加速深入与AI技术的广泛应用，智能运维能力已日渐成为支撑系统稳定运行与高效迭代的核心力量。得益于大模型与智能体在根因分析、异常检测、风险预判、趋势推演等领域的卓越表现，越来越多的企业开始着手构建专属运维大模型。但随着大模型应用的不断深化，其存在的回答精准度欠缺、方案可执行性不强、场景适配性薄弱等问题也逐步显现，引发了业界的普遍关注。在此背景下，“稳定性保障实验室”依托于在SRE领域的研究基础，推出SRE领域大模型——智域，以促进智能化运维建设，推动科技赋能稳定性保障工作。

# 模型概述
【模型尺寸】32B

【训练阶段】增量预训练 + 后训练

【亮点】
- 领域知识学习
  - 领域公开知识
  - 人工运维经验
  - 通用组件文档
  - 真实故障案例
- 专业技能增强
  - 运维流程与工具使用学习（如故障排查）
  - SRE专业技能增强（如SQL/PromQL生成）
  - RAG确定性增强

## 数据构建
SRE领域数据类型丰富，我们筛选以下6类数据作为模型训练的数据来源，构建了适配每类数据的生产/收集、审核治理、筛选/增强工具管线，持续驱动训练数据更新。
- 领域公开知识：SRE领域公开书籍、论文、行业报告、白皮书等， 如《SRE实践白皮书》
- 人工运维经验：稳定性保障实验室参与企业SRE专家提供的高质量运维经验数据，主要面向故障诊断过程
- 通用组件文档：通用组件的使用、运维文档，以强化大模型对于组件（尤其是国产化组件）的使用和维护能力
- 真实故障案例：包含故障概要、业务背景、故障轨迹、根因分析、处置动作、优化方案 6个内容版块的高质量故障数据
- 运维平台提取：企业运维平台提取的真实操作类数据，以提供大模型学习SRE的工作流程、工具使用规范
- 强化学习生成：构建SRE专项能力（如故障排查）的模拟环境，在环境中强化学习的过程中，生成高质量训练数据

![数据分布](images/data_distribution.png)

## 参与SRE领域大模型训练数据集建设
欢迎有意愿参与SRE领域大模型训练数据集建设的企业，通过以下联系方式申请：

jikehang@caict.ac.cn

通过审核后使用SRE精英联盟-AI数据集功能提交训练数据，参与共建。

[SRE精英联盟-AI数据集](https://ai.sre-elite.com/component-overview)

![AI数据集](images/ai_dataset.png)

## 模型训练
模型训练基于Qwen3-32B模型，分为增量预训练、微调与强化学习后训练共3个阶段。
通过增量预训练与监督微调完成领域知识学习，通过微调与强化学习完成领域专业技能训练，最后通过强化学习DPO完成关键通用能力的提升。

![模型训练](images/train_pipeline.png)

## 评估结果
| 模型 | 人工运维经验 | 领域公开知识 | 通用组件文档 | SRE专业技能 |
| ----- | ----- | ----- | ----- | ----- |
| Qwen3-32B | 0.7432 | 0.8047 | 0.8273 | 0.4950 |
| zhiyu | 0.8468 | 0.8712 | 0.8789 | 0.5443 |

基于独立构建，覆盖SRE领域知识、人工运维经验、通用组件使用、SRE专业技能4个维度的测试数据集（共30161条）对比评估，相比基础模型在以上4个维度能力均有明显提升。

# 部署指引
## NVIDIA VLLM 部署方式
- 推荐硬件配置：24C 48G L20 * 4
- 先将模型文件下载到主机目录（具体可参考[模型的下载](https://modelscope.cn/docs/models/download)），假设本地保存的目录为：`/local/dir/of/zhiyu`
- 启动镜像，此处用最新的VLLM官方镜像即可，启动命令可以参考(需要提前安装nvidia-docker插件)
```bash
docker run  -d --network host  -v /local/dir:/local/dir  --gpus 4 vllm/vllm-openai:v0.9.2 \
    --port 8000 --model /local/dir/of/zhiyu \
    --tensor-parallel-size 4 \
    --pipeline-parallel-size 1 \
    --served-model-name zhiyu \
     --trust-remote-code \
     --api-key your_token_key \
     --gpu-memory-utilization 0.9 \
     --enable-auto-tool-choice \
     --tool-call-parser hermes \
     --enforce-eager --max-num-seqs 32 \
     --rope-scaling {"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768} \
     --max-model-len 131072
```

## 昇腾 VLLM 部署方式
- 推荐硬件配置：24C 48G 910B * 2
- 先将模型文件下载到主机目录，假设本地保存的目录为：`/local/dir/of/zhiyu`
- 启动镜像（可以联系华为云的支持获取最新的vllm镜像）
```bash
docker run -i -t  -d \
        --user root \
        --name test-0 \
        --device=/dev/davinci0\
        --device=/dev/davinci1\
        -v /etc/localtime:/etc/localtime  \
        -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
        -v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware \
        --device=/dev/davinci_manager \
        --device=/dev/devmm_svm \
        --device=/dev/hisi_hdc \
        -e ASCEND_RT_VISIBLE_DEVICES=0,1  \
        -v /var/log/npu/:/usr/slog \
        -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
        -v /local/dir:/local/dir \
        --net=host \

# 此处{VLLM_IMAGE_NAME}替换为真实的镜像名称
{VLLM_IMAGE_NAME} python -m vllm.entrypoints.openai.api_server --model /local/dir/of/zhiyu \
--max-num-seqs=256 \
--max-model-len=32768 \
--max-num-batched-tokens=32768 \
--tensor-parallel-size=2 \
--block-size=128 \
--host=0.0.0.0 \
--port=8081 \
--gpu-memory-utilization=0.9 \
--num-scheduler-steps=8  \
--multi-step-stream-outputs=false \
--trust-remote-code \
--enable-auto-tool-choice \
--tool-call-parser hermes \
--served-model-name zhiyu
```

# 使用指引
## 使用 openai
如果使用vllm部署方式，则参考[vllm官方手册](https://docs.vllm.ai/en/latest/getting_started/quickstart.html)进行调用即可。
```python
from openai import OpenAI

# 需根据实际部署配置修改对应参数值
openai_api_key = "your_token_key"
openai_api_base = "http://localhost:8000/v1"
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)
chat_response = client.chat.completions.create(
    model="zhiyu",
    messages=[
        {"role": "user", "content": "什么是CI、CD、CO？"},
    ]
)
print("Chat response:", chat_response)
```

## 使用 modelscope
如果基于modelscope，则使用的代码示例如下：
```python
from modelscope import AutoModelForCausalLM, AutoTokenizer

model_name = "StabilityLab/zhiyu"

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto",
)

# 模型输入
prompt = "什么是CI、CD、CO？"
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# 模型预测
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=32768,
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist() 
output = tokenizer.decode(output_ids, skip_special_tokens=True)
print(output)
```

# 开源协议
本模型权重采用Apache 2.0许可证授权。

需注意：
本模型衍生自Qwen-3系列模型（原采用Apache 2.0许可证）