---
title: Qwen3.5-4B-w8a8
canonical_url: "https://www.modelscope.cn/models/Eco-Tech/Qwen3.5-4B-w8a8"
md_url: "https://www.modelscope.cn/models/Eco-Tech/Qwen3.5-4B-w8a8.md"
repository: Eco-Tech/Qwen3.5-4B-w8a8
last_updated: 2026-09-18
license: Apache-2.0
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
model_type:
  - qwen3_5
architectures:
  - Qwen3_5ForConditionalGeneration
base_model:
  - Qwen/Qwen3.5-4B
base_model_relation: quantized
parameters: 5.3B
tensor_type:
  - F32
  - I8
  - BF16
library_name:
  - safetensors
  - pytorch
frameworks:
  - pytorch
downloads: 399
stars: 1
---

# Qwen3.5-4B-w8a8

> Qwen3.5-4B-w8a8 - Eco-Tech 在 ModelScope 开源的模型。Qwen3.5-4B-w8a8 1. 基本信息 | 项目 | 信息 | | :-------------------: | :----------------------------------------------------------: | | 原始模型名 | Qwen3.5-4B | | 原始模型链接 | Qwen3.5-4B | | msmodelslim commit id |…

Eco-Tech/Qwen3.5-4B-w8a8 是 ModelScope 魔搭社区上的 5.3B 参数image-text-to-text模型，采用 Apache-2.0 许可，基于 Qwen/Qwen3.5-4B 构建。

- **Repository**: Eco-Tech/Qwen3.5-4B-w8a8
- **License**: Apache-2.0
- **Tasks**: image-text-to-text
- **Parameters**: 5.3B
- **Base model**: Qwen/Qwen3.5-4B
- **Downloads**: 399
- **Stars**: 1
- **Last updated**: 2026-09-18

Source: https://www.modelscope.cn/models/Eco-Tech/Qwen3.5-4B-w8a8

---

# Qwen3.5-4B-w8a8
 	
## 1. 基本信息	
|         项目          |                             信息                             |	
| :-------------------: | :----------------------------------------------------------: |	
|      原始模型名       |                       Qwen3.5-4B                        |	
|     原始模型链接      | [Qwen3.5-4B](https://www.modelscope.cn/models/Qwen/Qwen3.5-4B ) |	
| msmodelslim commit id |           7848226928475c77a064488ef94f7f87b67c2621           |	
|     精度测试机型      |                      Atlas 800T A2 双卡                      |	
|     精度测试平台      |                      docker vllm-ascend                      |	
|         版本          |                    vllm-ascend:v0.23.0rc1                    |	
|         链接          |      quay.io/ascend/vllm-ascend:v0.23.0rc1      |	
 	
 	
## 2 量化脚本：	

使用msmodelslim官方主线一键量化方案：https://gitcode.com/Ascend/msmodelslim/tree/master/example/Qwen3_5#Qwen3.5-4B-w8a8
 	
```python3	
msmodelslim quant \
    --model_path Qwen3.5-4B \
    --save_path Qwen3.5-4B-w8a8 \
    --device npu \
    --model_type Qwen3.5-4B \
    --quant_type w8a8 \
    --trust_remote_code True
```	
 	
 	
## 3 精度测试结果	
 	
|        模型名        | 量化格式 | 数据集 | 测试精度 % | 官方精度 % |	
| :------------------: | :------: | :----: | :--------: | :------------: |	
| Qwen3.5-4B-w8a8 |   w8a8   |  GPQA  | 76.26 | 76.2 |
| Qwen3.5-4B-w8a8 |   w8a8   |  MMLUPRO  | 78.69 | 79.1  |	
 	
*`--max-model-len 65536`，精度存在波动，建议多次测试。
