---
title: Qwen3.8-27B-W8A8-DCU
canonical_url: "https://www.modelscope.cn/models/VerStella/Qwen3.8-27B-W8A8-DCU"
md_url: "https://www.modelscope.cn/models/VerStella/Qwen3.8-27B-W8A8-DCU.md"
repository: VerStella/Qwen3.8-27B-W8A8-DCU
chinese_name: "千问3.8-27B W8A8 海光 DCU"
last_updated: 2026-08-24
license: apache-2.0
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
model_type:
  - qwen3_5
architectures:
  - Qwen3_5ForConditionalGeneration
base_model:
  - Qwen/Qwen3.8-27B
base_model_relation: quantized
parameters: 27.8B
tensor_type:
  - I8
  - BF16
  - F32
library_name:
  - safetensors
downloads: 221
stars: 3
tags:
  - qwen3.5
  - multimodal
  - hybrid-attention
  - text-generation
  - vllm
  - dcu
  - w8a8
  - int8
---

# Qwen3.8-27B-W8A8-DCU

> Qwen3.8-27B-W8A8-DCU - VerStella 在 ModelScope 开源的模型。Qwen3.8-27B (Qwen3_5ForConditionalGeneration) 海光 gfx936 DCU W8A8 INT8 部署版

VerStella/Qwen3.8-27B-W8A8-DCU 是 ModelScope 魔搭社区上的 27.8B 参数image-text-to-text模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.8-27B 构建。

- **Repository**: VerStella/Qwen3.8-27B-W8A8-DCU
- **License**: apache-2.0
- **Tasks**: image-text-to-text
- **Parameters**: 27.8B
- **Base model**: Qwen/Qwen3.8-27B
- **Tags**: qwen3.5, multimodal, hybrid-attention, text-generation, vllm, dcu, w8a8, int8
- **Downloads**: 221
- **Stars**: 3
- **Last updated**: 2026-08-24

Source: https://www.modelscope.cn/models/VerStella/Qwen3.8-27B-W8A8-DCU

---

# Qwen3.8-27B-W8A8-DCU

> 面向海光 DCU（gfx936，64GB）的 **Qwen3.8-27B W8A8 INT8 量化部署版**，开箱即用（vLLM 0.18.1+das）。

## 模型概述

- **基座模型**：[Qwen/Qwen3.8-27B](https://www.modelscope.cn/models/Qwen/Qwen3.8-27B)（千问3.8-27B，多模态 + 混合注意力）
- **架构**：`Qwen3_5ForConditionalGeneration`（64 层：48×linear_attention + 16×full_attention，稠密，非 MoE；含视觉塔，支持图像/视频）
- **量化**：**W8A8 INT8**（权重 int8 per-channel 静态对称 + 激活 int8 per-token 动态），vLLM 0.18.1 在 DCU 上走 `hipblaslt_w8a8_gemm` 原生 kernel
- **本仓库 = 完整交付**：已量化权重 + 启动脚本 + 4 处 vLLM 源码补丁 + 部署文档，**clone 即用**

## 性能（gfx936 单卡 64GB 实测）

| 指标 | 值 |
|---|---|
| 单流吞吐 | **33.3 tok/s**（500→200 tok，temperature=0） |
| 峰值吞吐（conc 64） | **529 tok/s** |
| 128 并发聚合 | 453 tok/s（0 失败） |
| TTFT（单流） | ~182 ms |
| 上下文上限 | **262144（256K）** |
| 显存占用 | 权重 ~28.6 GiB，KV 余量 ~26 GiB |
| 正确性 | 数学/代码/JSON/写作/视觉 6 用例全过 |

**对比原始 BF16**：单流 14.3 → 33.3 tok/s（**+133%**），峰值 178 → 529 tok/s（**+197%**）。

## 部署要求

| 项 | 要求 |
|---|---|
| 硬件 | 海光 gfx936（Marketing Name "BW"）单卡 64GB HBM |
| 软件 | vLLM 0.18.1+das（Harbor 镜像 `vllm0.18.1-...-20260810-qwen3.8`） |
| 磁盘 | ≥60GB（模型 30GB） |
| 网络 | 可访问 modelscope.cn / harbor.sourcefind.cn |

## 快速使用

```bash
# 1. 下载本仓库（含权重）
pip install -q modelscope
modelscope download --model VerStella/Qwen3.8-27B-W8A8-DCU --local_dir /models/Qwen__Qwen3.8-27B-W8A8

# 2. 解压 vLLM 专用镜像到 /opt/vllm018 并应用本仓库 modified/ 下 3 个源文件补丁
#    （镜像与补丁细节见 docs/部署指南与性能报告.md）

# 3. 解锁 GPU 时钟 + 启动
/opt/dtk/bin/rocm-smi --setsclk 9          # 关键：容器默认锁 sclk 600MHz
bash scripts/serve_qwen38_w8a8.sh          # 端口 8007，max-len 262144

# 4. 验证
curl http://localhost:8007/v1/models
curl http://localhost:8007/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen3.8-27b-w8a8","messages":[{"role":"user","content":"25*4+100/5=?"}],"max_tokens":64}'
```

## 文件结构

```
├── model-00001..09-of-00009.safetensors   ← W8A8 INT8 权重（30GB）
├── config.json / tokenizer.* / *.jinja    ← 配置与分词器
├── scripts/
│   ├── serve_qwen38_w8a8.sh               ← 生产启动脚本（含 sclk 解锁）
│   ├── quant_qwen38_w8a8.py               ← 可选：从 BF16 自量化
│   ├── verify_qwen38_w8a8.py              ← 正确性验证
│   └── ctx_test.py / bench_*.py|sh        ← 上下文/压测
├── modified/                              ← 3 个已改好的 vLLM 源文件（覆盖即用）
├── patches/                               ← 对应 diff（评审用）
└── docs/部署指南与性能报告.md              ← 完整部署流程 + 性能 + 排障
```

## 说明

- 本仓库是 **Qwen3.8-27B 的量化适配部署包**，权重由原始 BF16 权重经 per-channel INT8 量化得到；量化可能引入微小精度损失（实测 6 类用例全部正确）。
- 许可遵循基座模型 [Qwen3.8-27B](https://www.modelscope.cn/models/Qwen/Qwen3.8-27B)（Apache 2.0）。
- 仅支持海光 DCU 栈（+das / hipblaslt）；其他硬件请使用官方原版或官方 FP8 版。