---
title: DeepSeek-V3.2-w8a8-mtp-QuaRot
canonical_url: "https://www.modelscope.cn/models/Eco-Tech/DeepSeek-V3.2-w8a8-mtp-QuaRot"
md_url: "https://www.modelscope.cn/models/Eco-Tech/DeepSeek-V3.2-w8a8-mtp-QuaRot.md"
repository: Eco-Tech/DeepSeek-V3.2-w8a8-mtp-QuaRot
last_updated: 2026-10-10
license: mit
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - deepseek_v32
architectures:
  - DeepseekV32ForCausalLM
base_model:
  - deepseek-ai/DeepSeek-V3.2
base_model_relation: quantized
parameters: 685.7B
tensor_type:
  - BF16
  - I32
  - F32
  - I8
library_name:
  - safetensors
  - pytorch
frameworks:
  - Pytorch
downloads: 2054
stars: 2
---

# DeepSeek-V3.2-w8a8-mtp-QuaRot

> DeepSeek-V3.2-w8a8-mtp-QuaRot - Eco-Tech 在 ModelScope 开源的模型。DeepSeek-V3.2-w8a8-mtp-QuaRot

Eco-Tech/DeepSeek-V3.2-w8a8-mtp-QuaRot 是 ModelScope 魔搭社区上的 685.7B 参数text-generation模型，采用 mit 许可，基于 deepseek-ai/DeepSeek-V3.2 构建。

- **Repository**: Eco-Tech/DeepSeek-V3.2-w8a8-mtp-QuaRot
- **License**: mit
- **Tasks**: text-generation
- **Parameters**: 685.7B
- **Base model**: deepseek-ai/DeepSeek-V3.2
- **Downloads**: 2054
- **Stars**: 2
- **Last updated**: 2026-10-10

Source: https://www.modelscope.cn/models/Eco-Tech/DeepSeek-V3.2-w8a8-mtp-QuaRot

---

# DeepSeek-V3.2-w8a8-mtp-QuaRot

## 1. 基本信息
| 项目 | 信息 |
|:------:|:------:|
| 原始模型名  | DeepSeek-V3.2 |
| 原始模型链接  | [deepseek-ai/DeepSeek-V3.2](https://www.modelscope.cn/models/deepseek-ai/DeepSeek-V3.2) |
| msmodelslim commit id  | ee8edaf88fd5ad1f2544e661ef267a901ff0fa0c |
| 精度测试机型  | Atlas 800T A3 1台|
| 精度测试平台  | docker vllm-ascend |
| 版本  | vllm-ascend:v0.13.0rc2-a3 |
| 链接  | quay.m.daocloud.io/ascend/vllm-ascend:v0.13.0rc2-a3 |


## 2 量化脚本：
v3.2-w8a8-quarot pr合入：https://gitcode.com/Ascend/msmodelslim/pull/26

现已支持一键量化：
```python3
# 用于vLLM Ascend部署
msmodelslim quant \
 --model_path ${model_path} \
 --save_path ${save_path} \
 --model_type DeepSeek-V3.2 \
 --quant_type w8a8 \
 --config_path ./lab_practice/deepseek_v3_2/deepseek_w8a8_quarot.yaml \
 --trust_remote_code True
```


## 3 精度测试结果

| 模型名 |  量化格式 | 数据集 | 测试精度 % | 官方精度 % |
|:------:|:------:|:------:|:------:|:------:|
| DeepSeek-V3.2-w8a8-mtp-QuaRot | w8a8 | gpqadataset | 83.84 | 82.4 |
| DeepSeek-V3.2-w8a8-mtp-QuaRot | w8a8 | mmluprodataset | 86.24 | 85.0 |

* 精度存在波动，建议多次测试。
