---
title: Qwen3.5-397B-A17B-w4a8-mtp
canonical_url: "https://www.modelscope.cn/models/Eco-Tech/Qwen3.5-397B-A17B-w4a8-mtp"
md_url: "https://www.modelscope.cn/models/Eco-Tech/Qwen3.5-397B-A17B-w4a8-mtp.md"
repository: Eco-Tech/Qwen3.5-397B-A17B-w4a8-mtp
last_updated: 2026-03-26
license: apache-2.0
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
model_type:
  - qwen3_5_moe
architectures:
  - Qwen3_5MoeForConditionalGeneration
base_model:
  - Qwen/Qwen3.5-397B-A17B
base_model_relation: quantized
parameters: 212.6B
tensor_type:
  - BF16
  - F32
  - I8
library_name:
  - safetensors
  - pytorch
frameworks:
  - PyTorch
downloads: 2650
stars: 2
---

# Qwen3.5-397B-A17B-w4a8-mtp

> Qwen3.5-397B-A17B-w4a8-mtp - Eco-Tech 在 ModelScope 开源的模型。Qwen3.5-397B-A17B-w4a8-mtp

Eco-Tech/Qwen3.5-397B-A17B-w4a8-mtp 是 ModelScope 魔搭社区上的 212.6B 参数image-text-to-text模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.5-397B-A17B 构建。

- **Repository**: Eco-Tech/Qwen3.5-397B-A17B-w4a8-mtp
- **License**: apache-2.0
- **Tasks**: image-text-to-text
- **Parameters**: 212.6B
- **Base model**: Qwen/Qwen3.5-397B-A17B
- **Downloads**: 2650
- **Stars**: 2
- **Last updated**: 2026-03-26

Source: https://www.modelscope.cn/models/Eco-Tech/Qwen3.5-397B-A17B-w4a8-mtp

---

# Qwen3.5-397B-A17B-w4a8-mtp

## 1. 基本信息
| 项目 | 信息 |
|:------:|:------:|
| 原始模型名  | Qwen3.5-397B-A17B |
| 原始模型链接  | [ Qwen/Qwen3.5-397B-A17B ](https://www.modelscope.cn/models/Qwen/Qwen3.5-397B-A17B) |
| modelslim commit id  | c52048041e31176dfe1084538a8c74a3f6aad9d4 |
| 精度测试机型  | Atlas 800T A2 1台|
| 精度测试平台  | docker vllm-ascend |
| 版本  | vllm-ascend:v0.14.0rc1 |
| 链接  | quay.m.daocloud.io/ascend/vllm-ascend:v0.14.0rc1 |


## 2 量化脚本：

已集成[一键量化](https://gitcode.com/Ascend/msmodelslim/tree/master/example/Qwen3_5#qwen35-397b-a17b-w4a8量化)
```python3
msmodelslim quant --model_path ${MODEL_PATH} --save_path ${SAVE_PATH} --device npu --model_type Qwen3.5-397B-A17B --quant_type w4a8 --trust_remote_code True
```

## 3 精度测试结果

| 模型名 |  量化格式 | 数据集 | 测试精度 % | 官方精度 % |
|:------:|:------:|:------:|:------:|:------:|
| Qwen3.5-397B-A17B-w4a8-mtp | w4a8 | ceval | 93.46 | 93.0 |
| Qwen3.5-397B-A17B-w4a8-mtp | w4a8 | gpqa | 87.88 | 88.4 |
| Qwen3.5-397B-A17B-w4a8-mtp | w4a8 | mmlupro | 87.88 | 87.8 |

* 服务端`--max-model-len 133120`，测试端使用ais_bench,其中`max_out_len = 65536`， 精度存在波动，建议多次测试。