---
title: Qwen3.8-27B-MLP-W4A8-Ascend
canonical_url: "https://www.modelscope.cn/models/neusemi/Qwen3.8-27B-MLP-W4A8-Ascend"
md_url: "https://www.modelscope.cn/models/neusemi/Qwen3.8-27B-MLP-W4A8-Ascend.md"
repository: neusemi/Qwen3.8-27B-MLP-W4A8-Ascend
last_updated: 2026-09-20
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
model_type:
  - qwen3_5
architectures:
  - Qwen3_5ForConditionalGeneration
parameters: 19.2B
tensor_type:
  - BF16
  - I8
  - F32
library_name:
  - safetensors
downloads: 36
stars: 2
---

# Qwen3.8-27B-MLP-W4A8-Ascend

> Qwen3.8-27B-MLP-W4A8-Ascend - neusemi 在 ModelScope 开源的模型。Qwen3.8-27B quantized for Huawei Ascend using msModelSlim W4A8_DYNAMIC.All 64 text decoder MLP layers (gate_proj, up_proj, down_proj) are quantized with INT4 per-channel weights and INT8 per-token…

- **Repository**: neusemi/Qwen3.8-27B-MLP-W4A8-Ascend
- **Tasks**: image-text-to-text
- **Parameters**: 19.2B
- **Downloads**: 36
- **Stars**: 2
- **Last updated**: 2026-09-20

Source: https://www.modelscope.cn/models/neusemi/Qwen3.8-27B-MLP-W4A8-Ascend

---

# Qwen3.8-27B-MLP-W4A8-Ascend

## 模型说明

本模型基于 Qwen3.8-27B，面向 Ascend 910B 推理场景，采用 **W4A8_DYNAMIC** 混合精度量化格式。

本版本对语言模型的全部 64 个 Transformer 层进行 MLP 投影量化：

```text
Layer 0-63
└── MLP
    ├── gate_proj  -> W4A8_DYNAMIC
    ├── up_proj    -> W4A8_DYNAMIC
    └── down_proj  -> W4A8_DYNAMIC
```

共量化：

```text
64 layers x 3 Linear = 192 Linear layers
```

以下模块保持原精度：

- Attention
- Embedding
- lm_head
- MTP
- Vision encoder
- LayerNorm 及其他非 MLP 模块

## 量化配置

| 项目 | 配置 |
| --- | --- |
| 量化类型 | W4A8_DYNAMIC |
| 权重 | INT4，per-channel |
| 激活 | INT8，per-token dynamic |
| 权重量化算法 | SSZ |
| 激活量化算法 | MinMax |
| msModelSlim 格式版本 | 1.0.0 |
| group_size | 0，表示 per-channel |
| 权重量化描述 | AscendV1 |
| 权重文件 | 8 个 safetensors 分片 |
| 量化权重大小 | 约 28 GB |

量化描述文件：

```text
quant_model_description.json
```

实际量化权重包含以下参数：

```text
weight
weight_scale
weight_offset
scale_bias
```

本模型没有人工修改量化描述文件，也没有伪造 `group_size` 或补充 second-level scale 参数。

## 推理环境

已验证环境：

| 项目 | 版本或配置 |
| --- | --- |
| 硬件 | 2 x Ascend 910B4-1 |
| Tensor Parallel | 2 |
| vLLM | 0.26.0 |
| vLLM-Ascend | 0.26.0rc1 |
| CANN | 容器内 Ascend CANN 9.1.0 |
| Docker 镜像 | `quay.io/ascend/vllm-ascend:v0.26.0rc1-openeuler` |
| max_model_len | 4096 |
| gpu_memory_utilization | 0.85 |


## 精度结果

测试数据为 GSM8K 测试集固定抽样 200 条，使用相同 workload hash 和相同生成配置。

测试配置：

| 项目 | 配置 |
| --- | --- |
| 数据集 | GSM8K |
| 样本数 | 200 |
| max_tokens | 512 |
| temperature | 0.0 |
| seed | 1024 |
| enable_thinking | false |
| 判分规则 | 仅识别 `####` 或 `\boxed{}` 最终答案 |
| request errors | 0 |

结果：

| 模型 | 正确数 | 准确率 |
| --- | ---: | ---: |
| Qwen3.8-27B-BF16 | 177/200 | 88.50% |
| Qwen3.8-27B-W4A8-L0-63 | 178/200 | 89.00% |
