---
title: Qwen3.8-27B-W8A16
canonical_url: "https://www.modelscope.cn/models/zhulin26/Qwen3.8-27B-W8A16"
md_url: "https://www.modelscope.cn/models/zhulin26/Qwen3.8-27B-W8A16.md"
repository: zhulin26/Qwen3.8-27B-W8A16
chinese_name: Qwen3.8-27B-W8A16
last_updated: 2026-08-17
license: "Apache License 2.0"
pipeline_tag: any-to-any
tasks:
  - any-to-any
model_type:
  - qwen3_5
architectures:
  - Qwen3_5ForConditionalGeneration
base_model:
  - Qwen/Qwen3.8-27B
base_model_relation: quantized
parameters: 27.8B
tensor_type:
  - BF16
  - I32
  - I64
library_name:
  - safetensors
language:
  - zh
downloads: 113
stars: 3
---

# Qwen3.8-27B-W8A16

> Qwen3.8-27B-W8A16 - zhulin26 在 ModelScope 开源的模型。Qwen3.8-27B 的 W8A16 量化版本（权重 INT8 + 激活保持 BF16，weight-only）。

zhulin26/Qwen3.8-27B-W8A16 是 ModelScope 魔搭社区上的 27.8B 参数any-to-any模型，采用 Apache License 2.0 许可，基于 Qwen/Qwen3.8-27B 构建。

- **Repository**: zhulin26/Qwen3.8-27B-W8A16
- **License**: Apache License 2.0
- **Tasks**: any-to-any
- **Parameters**: 27.8B
- **Base model**: Qwen/Qwen3.8-27B
- **Downloads**: 113
- **Stars**: 3
- **Last updated**: 2026-08-17

Source: https://www.modelscope.cn/models/zhulin26/Qwen3.8-27B-W8A16

---

# Qwen3.8-27B-W8A16

## 模型简介

Qwen3.8-27B 的 **W8A16 量化版本**（权重 INT8 + 激活保持 BF16，weight-only）。

| 项目 | 信息 |
|------|------|
| 基座模型 | Qwen/Qwen3.8-27B（BF16，多模态） |
| 量化类型 | W8A16（权重 8bit，激活不量化 BF16） |
| 量化工具 | llm-compressor 0.13.0（oneshot + GPTQModifier，per-channel） |
| 底层库 | compressed_tensors 0.18.0 / transformers 5.12.1 |
| 权重大小 | ~29.6 GiB（原版 BF16 ~54 GiB，省约 45%） |
| 文件数 | 权重 3 个分片 + 完整 tokenizer/processor 配置 |

## 量化配置

```
weights:          num_bits=8, type=int, strategy=channel（per-channel 权重 INT8）
input_activations: 无（激活保持 BF16，不量化）
```

> W8A16 = weight-only INT8。相比 W8A8（权重+激活都量化），W8A16 免去激活量化/反量化开销，decode 阶段（带宽受限）反而更快，且精度天然更稳。

## 能力保留

| 能力 | 状态 |
|------|------|
| 多模态 vision（333 权重） | ✅ 完整保留（BF16） |
| MTP 投机解码（15 权重） | ✅ 完整保留（BF16，`re:^mtp.*` 已加入 ignore） |
| 工具调用 / 思考模式 | ✅ 保留 |
| 长上下文 262K | ✅ 保留 |

## 测试结果

### 精度（IFEval 指令遵循，541 题，关 thinking）

| 指标 | 原版 BF16 | **W8A16** |
|------|:---:|:---:|
| inst_strict | 86.57% | **87.17%** |
| inst_loose | 89.93% | 89.93% |
| prompt_strict | 80.96% | **81.52%** |
| prompt_loose | 85.21% | 85.03% |

**结论：精度零损失，与 BF16 原版持平（差异在评测误差 ±1.5% 内）。**

### 性能（A100 80GB 单卡）

| 指标 | 数值 |
|------|------|
| 生成速度 | **60.2 tok/s**（含 MTP 加速，三版中最快） |
| 显存占用 | ~29.6 GiB |
| MTP 接受率 | 88-89%（三版中最高） |

## 三版对比（原版 vs W8A8 vs W8A16）

| 维度 | 原版 BF16 | W8A8 | **W8A16** |
|------|:---:|:---:|:---:|
| inst_strict | 86.57% | 88.49% | 87.17% |
| 生成速度 | 56.6 tok/s | 56.0 tok/s | **60.2 tok/s** |
| 显存 | 54 GiB | 28 GiB | 29.6 GiB |
| MTP 接受率 | 40-76% | 86.8% | **88-89%** |

**W8A16 是最优平衡**：速度最快、精度无损、省 45% 显存、MTP 接受率最高。

## 文件说明

| 文件 | 说明 |
|------|------|
| `model-00001/00002-of-00003.safetensors` | 量化后的主模型权重 |
| `model_mtp.safetensors` | MTP 权重（BF16，15 个 `mtp.*`，由官方 `save_mtp_tensors_to_checkpoint` 生成） |
| `model.safetensors.index.json` | 权重索引 |
| `config.json` | 模型配置 + quantization_config（含 `re:^mtp.*` ignore） |
| `recipe.yaml` | 量化配方 |
| `tokenizer.json` / `tokenizer_config.json` / `chat_template.jinja` | 分词器 |
| `processor_config.json` | 多模态 processor |
| `generation_config.json` | 生成配置 |

## 注意事项

- 部署时**无需**手动指定 `--quantization`，vLLM 会从 config.json 自动识别 compressed-tensors 格式。
- MTP 权重通过官方 `compressed_tensors.utils.save_mtp_tensors_to_checkpoint` 固化，`re:^mtp.*` 已写入 ignore，vLLM 自动将 MTP 层按 BF16 加载（无需改 vLLM 源码）。
- 这是纯文本 + 多模态完整版（vision 已保留），非纯文本裁剪版。
- 量化于 2026-08-16，基座模型为 Qwen3.8-27B（8 月 14 日开源）。