---
title: Qwen3-32B-w8a8sc-310-vllm
canonical_url: "https://www.modelscope.cn/models/Eco-Tech/Qwen3-32B-w8a8sc-310-vllm"
md_url: "https://www.modelscope.cn/models/Eco-Tech/Qwen3-32B-w8a8sc-310-vllm.md"
repository: Eco-Tech/Qwen3-32B-w8a8sc-310-vllm
last_updated: 2026-04-27
license: "Apache License 2.0"
pipeline_tag: text-generation
tasks:
  - text-generation
base_model:
  - Qwen/Qwen3-32B
base_model_relation: quantized
library_name:
  - safetensors
  - pytorch
frameworks:
  - PyTorch
downloads: 1194
stars: 3
---

# Qwen3-32B-w8a8sc-310-vllm

> Qwen3-32B-w8a8sc-310-vllm - Eco-Tech 在 ModelScope 开源的模型。Qwen3-32B-w8a8sc-310-vllm

Eco-Tech/Qwen3-32B-w8a8sc-310-vllm 是 ModelScope 魔搭社区上的text-generation模型，采用 Apache License 2.0 许可，基于 Qwen/Qwen3-32B 构建。

- **Repository**: Eco-Tech/Qwen3-32B-w8a8sc-310-vllm
- **License**: Apache License 2.0
- **Tasks**: text-generation
- **Base model**: Qwen/Qwen3-32B
- **Downloads**: 1194
- **Stars**: 3
- **Last updated**: 2026-04-27

Source: https://www.modelscope.cn/models/Eco-Tech/Qwen3-32B-w8a8sc-310-vllm

---

# Qwen3-32B-w8a8sc-310-vllm

## 1. 基本信息
| 项目 | 信息 |
|:------:|:------:|
| 原始模型名  | Qwen3-32B |
| 原始模型链接  | [Qwen/Qwen3-32B](https://huggingface.co/Qwen/Qwen3-32B) |
| msmodelslim commit id  | 6a860e4a7b48b4573a8aeeaa12123d2bbc9ec9b8 |
| msmodelslim 操作指引  | [Readme](https://gitcode.com/Ascend/msmodelslim/blob/master/example/Qwen/README.md) |
| 精度测试机型  | Atlas 300I DUO|
| 精度测试平台  | docker vLLM 镜像 |
| 版本  | [vLLM 26.0.0.poc](https://github.com/vllm-project/vllm-ascend/issues/7394#issuecomment-4325488445) |


## 2 量化命令：
### 模型稀疏量化
```Shell
msmodelslim quant --model_path {浮点权重路径} --save_path {W8A8量化权重路径} --device npu --model_type Qwen3-32B --quant_type w8a8s --trust_remote_code True
```
### 模型压缩
使用vLLM模型压缩脚本[save_sharded_state_310.py](https://github.com/vllm-project/vllm-ascend/blob/main/examples/save_sharded_state_310.py)
```Shell
cd /usr/local/python3.11.10/lib/python3.11/site-packages/msmodelslim/pytorch/weight_compression/compress_graph/
# 编译weight_compression组件，其中${install_path}为CANN软件的安装目录。
bash build.sh ${install_path}/ascend-toolkit/latest
export LD_LIBRARY_PATH=/usr/local/python3.11.10/lib/:$LD_LIBRARY_PATH
python save_sharded_state_310.py \
    --model {W8A8稀疏量化权重路径} \
    --tensor-parallel-size ${TP数} \
    --output {W8A8稀疏压缩量化权重路径} \
    --enforce-eager \
    --dtype float16 \
    --quantization ascend \
    --max-model-len 16384 \
    --enable-compress \
    --compress-process-num 8
```


## 3 精度测试结果

| 模型名 |  量化格式 | 数据集 | 测试精度 % | 浮点精度 % |
|:------:|:------:|:------:|:------:|:------:|
| Qwen3-32B-w8a8sc-310-vllm | w8a8s | BoolQ | 88.50 | 89.24 |
| Qwen3-32B-w8a8sc-310-vllm | w8a8s | CEval | 84.47 | 84.77 |
| Qwen3-32B-w8a8sc-310-vllm | w8a8s | GSM8K | 95.38 | 95.07 |
* 精度数据来自于非深度思考模式的推理结果