---
title: CodeFuse-DevOps-Model-14B-Base
canonical_url: "https://www.modelscope.cn/models/codefuse-ai/CodeFuse-DevOps-Model-14B-Base"
md_url: "https://www.modelscope.cn/models/codefuse-ai/CodeFuse-DevOps-Model-14B-Base.md"
repository: codefuse-ai/CodeFuse-DevOps-Model-14B-Base
last_updated: 2023-11-01
pipeline_tag: chatbot
tasks:
  - chatbot
model_type:
  - qwen
architectures:
  - QWenLMHeadModel
library_name:
  - pytorch
frameworks:
  - Pytorch
inference_backends:
  - "deploy_task text/emb"
  - "lmdeploy 0.9.1"
  - "lmdeploy_turbomind 0.9.1"
  - "sglang 0.5.2"
  - "vllm 0.9.2"
downloads: 121452
stars: 9
---

# CodeFuse-DevOps-Model-14B-Base

> CodeFuse-DevOps-Model-14B-Base - codefuse-ai 在 ModelScope 开源的模型。DevOps-Model 是一系列开发运维大模型，主要致力于在 DevOps 领域发挥实际价值。目前，DevOps-Model 能够帮助工程师回答在 DevOps 生命周期中遇到的问题。

codefuse-ai/CodeFuse-DevOps-Model-14B-Base 是 ModelScope 魔搭社区上的chatbot模型，可用 deploy_task text/emb、lmdeploy 0.9.1、lmdeploy_turbomind 0.9.1 部署。

- **Repository**: codefuse-ai/CodeFuse-DevOps-Model-14B-Base
- **Tasks**: chatbot
- **Inference backends**: deploy_task text/emb, lmdeploy 0.9.1, lmdeploy_turbomind 0.9.1, sglang 0.5.2, vllm 0.9.2
- **Downloads**: 121452
- **Stars**: 9
- **Last updated**: 2023-11-01

Source: https://www.modelscope.cn/models/codefuse-ai/CodeFuse-DevOps-Model-14B-Base

---

<div align="center">
<h1>
 DevOps-Model-14B-Base
</h1>
</div>

<p align="center">
🤗 <a href="https://huggingface.co/codefuse-ai" target="_blank">Hugging Face</a> • 
🤖 <a href="https://modelscope.cn/organization/codefuse-ai" target="_blank">ModelScope</a> 
</p>

DevOps-Model 是一个**开发运维大模型**，主要致力于在 DevOps 领域发挥实际价值。目前，DevOps-Model 能够帮助工程师回答在 DevOps 生命周期中遇到的问题。欢迎访问我们 Github 获取更多信息 [DevOps-Model](https://github.com/codefuse-ai/CodeFuse-DevOps-Model)

DevOps-Model-7B-Base 是我们经过高质量 DevOps 语料训练基于 Qwen-14B 加训后的 **Base** 模型。我们的 Base 模型在开源和 DevOps 领域相关的评测数据上可以取得同规模模型中的**最佳效果**。同时我们也开源了经过对齐后的 [DevOps-Model-14B-Chat](https://modelscope.cn/models/codefuse-ai/CodeFuse-DevOps-Model-14B-Chat/summary) 模型，和 7B 参数量的[DevOps-Model-7B-Base](https://modelscope.cn/models/codefuse-ai/CodeFuse-DevOps-Model-7B-Base/summary)  和 [DevOps-Model-7B-Chat](https://modelscope.cn/models/codefuse-ai/CodeFuse-DevOps-Model-7B-Chat/summary) 。
<br>
同时我们也在搭建 DevOps 领域专属的评测基准 [DevOpsEval](https://github.com/luban-agi/DevOps-Eval)，用来更好评测 DevOps 领域模型的效果。

<br>
<br>

# 模型评测
我们先选取了 CMMLU 和 CEval 两个评测数据集中和 DevOps 相关的一共六项考试。总计一共 574 道选择题，具体信息如下：

|  评测数据集 | 考试科目  | 题数  | 
|-------|-------|-------|
|   CMMLU  | Computer science | 204 |
|   CMMLU  | Computer security | 171 |
|   CMMLU  | Machine learning | 122 |
| CEval   | College programming | 37 |
| CEval   | Computer architecture | 21 |
| CEval   | Computernetwork | 19 |

我们分别测试了 Zero-shot 和 Five-shot 的结果，我们的 DevOps-Model-7B-Base 模型可以在测试的同规模的开源 Base 模型中取得最高的成绩，后续我们也会进行更多的测试。

|Base 模型|Zero-shot 得分|Five-shot 得分|
|:-------:|:-------:|:-------:|
|**DevOps-Model-14B-Base**| **70.73** | **73.00** |
|Qwen-14B-Base| 69.16 | 71.25  |
|Baichuan2-13B-Base| 55.75 | 61.15 |



<br>

# 快速使用
我们提供简单的示例来说明如何利用 🤗 Transformers 快速使用 Devops-Model-7B-Base 模型

## 要求
- python 3.8 及以上版本
- pytorch 2.0 及以上版本
- 建议使用CUDA 11.4及以上


## 依赖项安装
下载模型后，直接通过以下命令安装 requirements.txt 中的包就可以
```bash
cd path_to_download_model
pip isntall -r requirements.txt
```

## 模型推理示例

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig

tokenizer = AutoTokenizer.from_pretrained("path_to_DevOps-Model-14B-Base", trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained("path_to_DevOps-Model-14B-Base", device_map="auto", trust_remote_code=True, bf16=True).eval()

# 指定 generation_config
model.generation_config = GenerationConfig.from_pretrained("path_to_DevOps-Model-14B-Base", trust_remote_code=True)

inputs = '''Java 中 HashMap 的实现原理是'''
input_ids = tokenizer(inputs, return_tensors='pt')
input_ids = input_ids.to(model.device)
pred = model.generate(**input_ids)

print(tokenizer.decode(pred[0]))
# Java 中 HashMap 的实现原理是怎样的？【基于 JDK8】 HashMap 是一个散列表，它存储的内容是键值对(key-value)映射。 HashMap 实现了 Map 接口，根据键的 HashCode 值存储数据，具有很快的访问速度，最多允许一条记录的键为 null，不支持线程同步。 HashMap 是无序的，即不会记录插入的顺序。...
```



# 免责声明
由于语言模型的特性，模型生成的内容可能包含幻觉或者歧视性言论。请谨慎使用 DevOps-Model 系列模型生成的内容。
如果要公开使用或商用该模型服务，请注意服务方需承担由此产生的不良影响或有害言论的责任，本项目开发者不承担任何由使用本项目（包括但不限于数据、模型、代码等）导致的危害或损失。


# 致谢
本项目参考了以下开源项目，在此对相关项目和研究开发人员表示感谢。
- [LLaMA-Efficient-Tuning](https://github.com/hiyouga/LLaMA-Efficient-Tuning)
- [Qwen-7B](https://github.com/QwenLM/Qwen-7B/tree/main)