---
title: DeepSeek-V4-Flash-w8a8-mtp
canonical_url: "https://www.modelscope.cn/models/Eco-Tech/DeepSeek-V4-Flash-w8a8-mtp"
md_url: "https://www.modelscope.cn/models/Eco-Tech/DeepSeek-V4-Flash-w8a8-mtp.md"
repository: Eco-Tech/DeepSeek-V4-Flash-w8a8-mtp
last_updated: 2026-05-07
license: "MIT License"
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - deepseek_v4
architectures:
  - DeepseekV4ForCausalLM
base_model:
  - deepseek-ai/DeepSeek-V4-Flash
base_model_relation: quantized
parameters: 292.2B
tensor_type:
  - F32
  - I8
  - BF16
  - I32
library_name:
  - safetensors
  - pytorch
frameworks:
  - Pytorch
downloads: 190614
stars: 56
---

# DeepSeek-V4-Flash-w8a8-mtp

> DeepSeek-V4-Flash-w8a8-mtp - Eco-Tech 在 ModelScope 开源的模型。DeepSeek-V4-Flash-w8a8-mtp

Eco-Tech/DeepSeek-V4-Flash-w8a8-mtp 是 ModelScope 魔搭社区上的 292.2B 参数text-generation模型，采用 MIT License 许可，基于 deepseek-ai/DeepSeek-V4-Flash 构建。

- **Repository**: Eco-Tech/DeepSeek-V4-Flash-w8a8-mtp
- **License**: MIT License
- **Tasks**: text-generation
- **Parameters**: 292.2B
- **Base model**: deepseek-ai/DeepSeek-V4-Flash
- **Downloads**: 190614
- **Stars**: 56
- **Last updated**: 2026-05-07

Source: https://www.modelscope.cn/models/Eco-Tech/DeepSeek-V4-Flash-w8a8-mtp

---

# DeepSeek-V4-Flash-w8a8-mtp

## 1. 基本信息
| 项目 | 信息 |
|:------:|:------:|
| 原始模型名  | DeepSeek-V4-Flash |
| 原始模型链接  | [ deepseek-ai/DeepSeek-V4-Flash ](https://www.modelscope.cn/models/deepseek-ai/DeepSeek-V4-Flash) |
| 精度测试机型  | Atlas 800T A2 1台 |
| 精度测试平台  | docker vllm-ascend |
| 版本  | vllm-ascend:v0.13.0rc3 |
| 链接  | quay.m.daocloud.io/ascend/vllm-ascend:v0.13.0rc3 |


## 2 量化脚本：

现已集成[一键量化](https://gitcode.com/Ascend/msmodelslim/tree/master/example/DeepSeek#deepseek-v4-flash含mtp层-w8a8-动态量化)
```python3
msmodelslim quant \
 --model_path ${model_path} \
 --save_path ${save_path} \
 --model_type DeepSeek-V4-Flash \
 --quant_type w8a8 \
 --trust_remote_code True
```

## 3 精度测试结果

| 模型名 |  量化格式 | 数据集 | 测试精度 % | 官方精度 % | 备注 |
|:------:|:------:|:------:|:------:|:------:|:------:|
| DeepSeek-V4-Flash-w8a8-mtp | w8a8 | gpqa | 71.21 | 71.2 | V4-Flash Non-Think |
| DeepSeek-V4-Flash-w8a8-mtp | w8a8 | mmlupro | 82.85 | 83.0 | V4-Flash Non-Think |
| DeepSeek-V4-Flash-w8a8-mtp | w8a8 | mmlupro | 85.86 | 86.2 | V4-Flash Max |

* 使用ais_bench,其中`Non-Think`模式`max_out_len = 65536`， `Max`模式`max_out_len = 131072`。精度存在波动，建议多次测试。


## 4 思考模式开启方法

### 4.1 Curl指令：

**Non-Think**： 不加思考参数

**High**： `"chat_template_kwargs": {"thinking": true, "reasoning_effort": "high"}`

**Max**： `"chat_template_kwargs": {"thinking": true, "reasoning_effort": "max"}`


### 4.2 Ais_bench Benchmark：

**Non-Think**： 不加思考参数

**High**：
```python3
generation_kwargs=dict(
            ....
            chat_template_kwargs = {"thinking": True, "reasoning_effort": "high"}
        )
```

**Max**：
```python3
generation_kwargs=dict(
            ....
            chat_template_kwargs = {"thinking": True, "reasoning_effort": "max"}
        )
```