---
title: DeepSeek-V3.1-Terminus-w4a8-mtp-QuaRot
canonical_url: "https://www.modelscope.cn/models/Eco-Tech/DeepSeek-V3.1-Terminus-w4a8-mtp-QuaRot"
md_url: "https://www.modelscope.cn/models/Eco-Tech/DeepSeek-V3.1-Terminus-w4a8-mtp-QuaRot.md"
repository: Eco-Tech/DeepSeek-V3.1-Terminus-w4a8-mtp-QuaRot
last_updated: 2026-04-16
license: "MIT License"
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - deepseek_v3
architectures:
  - DeepseekV3ForCausalLM
parameters: 359.6B
tensor_type:
  - F32
  - I8
  - BF16
library_name:
  - safetensors
  - pytorch
frameworks:
  - Pytorch
inference_backends:
  - "deploy_task text/emb"
  - "sglang 0.5.2"
  - "vllm 0.9.2"
downloads: 497
stars: 0
---

# DeepSeek-V3.1-Terminus-w4a8-mtp-QuaRot

> DeepSeek-V3.1-Terminus-w4a8-mtp-QuaRot - Eco-Tech 在 ModelScope 开源的模型。DeepSeek-V3.1-Terminus-w4a8-mtp-QuaRot

Eco-Tech/DeepSeek-V3.1-Terminus-w4a8-mtp-QuaRot 是 ModelScope 魔搭社区上的 359.6B 参数text-generation模型，采用 MIT License 许可，可用 deploy_task text/emb、sglang 0.5.2、vllm 0.9.2 部署。

- **Repository**: Eco-Tech/DeepSeek-V3.1-Terminus-w4a8-mtp-QuaRot
- **License**: MIT License
- **Tasks**: text-generation
- **Parameters**: 359.6B
- **Inference backends**: deploy_task text/emb, sglang 0.5.2, vllm 0.9.2
- **Downloads**: 497
- **Stars**: 0
- **Last updated**: 2026-04-16

Source: https://www.modelscope.cn/models/Eco-Tech/DeepSeek-V3.1-Terminus-w4a8-mtp-QuaRot

---

# DeepSeek-V3.1-Terminus-w4a8-mtp-QuaRot

## 1. 基本信息
| 项目 | 信息 |
|:------:|:------:|
| 原始模型名  | DeepSeek-V3.1-Terminus-w4a8-mtp-QuaRot |
| 原始模型链接  | [deepseek-ai/DeepSeek-V3.1-Terminus](https://www.modelscope.cn/models/deepseek-ai/DeepSeek-V3.1-Terminus) |
| msmodelslim commit id  | d9be16a3e289fd666404d73fea2c31de033801c2  |
| 精度测试机型  | Atlas 800T A2 1台|
| 精度测试平台  | docker vllm-ascend |
| 版本  | vllm-ascend:v0.13.0rc1 |
| 链接  | quay.m.daocloud.io/ascend/vllm-ascend:v0.13.0rc1 |


## 2 量化脚本：
此模型量化时对msit/msmodelslim配置文件做了修改：
复制一份`deepseek-w4a8-pre-channel.yaml`为`deepseekv3-w4a8-pre-channel.yaml`，在`verified_model_types：`中增加模型官方名：`DeepSeek-V3.1-Terminus`,在`spc:` - `process:`下加入旋转矩阵相关配置。 在config.ini，中加入模型名，后可直接一键量化：
```python3
msmodelslim quant \
 --model_path weights/DeepSeek-V3.1-Terminus \
 --save_path weights/DeepSeek-V3.1-Terminus-w4a8-mtp-QuaRot \
 --model_type DeepSeek-V3.1-Terminus \
 --quant_type w4a8 \
 --trust_remote_code True
```


## 3 精度测试结果

| 模型名 |  量化格式 | 数据集 | 测试精度 % | 官方精度 % |
|:------:|:------:|:------:|:------:|:------:|
| DeepSeek-V3.1-Terminus-w4a8-mtp-QuaRot | w4a8 | MMLU-pro | 84.83 | 85.0 |

*`--max-model-len 70000`，精度存在波动，建议多次测试。