---
title: Qwen3-Next-80B-A3B-Instruct-W8A8
canonical_url: "https://www.modelscope.cn/models/vllm-ascend/Qwen3-Next-80B-A3B-Instruct-W8A8"
md_url: "https://www.modelscope.cn/models/vllm-ascend/Qwen3-Next-80B-A3B-Instruct-W8A8.md"
repository: vllm-ascend/Qwen3-Next-80B-A3B-Instruct-W8A8
chinese_name: Qwen3-Next-80B-A3B-Instruct-W8A8
last_updated: 2026-04-07
license: "MIT License"
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - qwen3_next
architectures:
  - Qwen3NextForCausalLM
base_model:
  - Qwen/Qwen3-Next-80B-A3B-Instruct
base_model_relation: quantized
parameters: 81.5B
tensor_type:
  - I8
  - BF16
  - F32
library_name:
  - safetensors
  - pytorch
frameworks:
  - PyTorch
inference_backends:
  - "deploy_task text"
  - "sglang 0.5.2"
downloads: 3424
stars: 1
---

# Qwen3-Next-80B-A3B-Instruct-W8A8

> Qwen3-Next-80B-A3B-Instruct-W8A8 - vllm-ascend 在 ModelScope 开源的模型。Qwen3-Next-80B-A3B-Instruct-w8a8-mtp

vllm-ascend/Qwen3-Next-80B-A3B-Instruct-W8A8 是 ModelScope 魔搭社区上的 81.5B 参数text-generation模型，采用 MIT License 许可，基于 Qwen/Qwen3-Next-80B-A3B-Instruct 构建，可用 deploy_task text、sglang 0.5.2 部署。

- **Repository**: vllm-ascend/Qwen3-Next-80B-A3B-Instruct-W8A8
- **License**: MIT License
- **Tasks**: text-generation
- **Parameters**: 81.5B
- **Base model**: Qwen/Qwen3-Next-80B-A3B-Instruct
- **Inference backends**: deploy_task text, sglang 0.5.2
- **Downloads**: 3424
- **Stars**: 1
- **Last updated**: 2026-04-07

Source: https://www.modelscope.cn/models/vllm-ascend/Qwen3-Next-80B-A3B-Instruct-W8A8

---

# Qwen3-Next-80B-A3B-Instruct-w8a8-mtp

## 1. 基本信息
| 项目 | 信息 |
|:------:|:------:|
| 原始模型名 | Qwen3-Next-80B-A3B-Instruct-w8a8-mtp |
| 原始模型链接 | [Qwen/Qwen3-Next-80B-A3B-Instruct](https://www.modelscope.cn/models/Qwen/Qwen3-Next-80B-A3B-Instruct) |
| msmodelslim commit id | d2ada17a46811bcebc151a8b4f5a2ea016ae8245 |
| 精度测试机型 | Atlas 800T A3 1台|
| 精度测试平台 | docker vllm-ascend |
| vllm 版本 | v0.15.0 |
| vllm-ascend 版本 | e7a13beedb74b39dffd9f9dd1dd47bed32360206 |


## 2 量化脚本：
拉取 Qwen3-Next-80B-A3B-Instruct-w8a8-mtp 的 msmodelslim 开发分支并安装：

```shell
# 该分支不会做删除或大的调整
git clone https://gitcode.com/weixin_74198818/msmodelslim.git -b qwen3-next/qwen3.5
cd msmodelslim
bash install.sh
```

一键量化：
```python3
# 默认使用的量化配置：msmodelslim/lab_practice/qwen3_next/qwen3-next-80b-a3b-w8a8.yaml
msmodelslim quant \
--model_path ${model_path} \
--save_path ${save_path} \
--model_type Qwen3-Next-80B-A3B-Instruct \
--quant_type w8a8 \
--trust_remote_code True
```


## 3 精度测试结果

| 模型名 | 量化格式 | 数据集 | 测试精度 % | NPU 浮点精度 % | 官方精度 % |
|:------:|:------:|:------:|:------:|:------:|:------:|
| Qwen3-Next-80B-A3B-Instruct-w8a8-mtp | W8A8 | GPQA | 74.75 | 73.74 | 72.9 |
| Qwen3-Next-80B-A3B-Instruct-w8a8-mtp | W8A8 | AIME25 | 66.67 | 70.0 | 69.5 |

* 精度测试未开 mtp；`--max-model-len 32768`；精度存在波动，建议多次测试。