---
title: Qwen3.8-27B-AWQ
canonical_url: "https://www.modelscope.cn/models/bchen61/Qwen3.8-27B-AWQ"
md_url: "https://www.modelscope.cn/models/bchen61/Qwen3.8-27B-AWQ.md"
repository: bchen61/Qwen3.8-27B-AWQ
chinese_name: Qwen3.8-27B-AWQ
last_updated: 2026-09-09
license: apache-2.0
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
model_type:
  - qwen3_5
architectures:
  - Qwen3_5ForConditionalGeneration
base_model:
  - Qwen/Qwen3.8-27B
base_model_relation: quantized
library_name:
  - safetensors
  - pytorch
frameworks:
  - Pytorch
language:
  - zh
  - en
downloads: 92
stars: 2
tags:
  - vLLM
  - AWQ
  - INT4
  - compressed-tensors
  - multimodal
---

# Qwen3.8-27B-AWQ

> Qwen3.8-27B-AWQ - bchen61 在 ModelScope 开源的模型。基础模型：Qwen/Qwen3.8-27B

bchen61/Qwen3.8-27B-AWQ 是 ModelScope 魔搭社区上的image-text-to-text模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.8-27B 构建。

- **Repository**: bchen61/Qwen3.8-27B-AWQ
- **License**: apache-2.0
- **Tasks**: image-text-to-text
- **Base model**: Qwen/Qwen3.8-27B
- **Tags**: vLLM, AWQ, INT4, compressed-tensors, multimodal
- **Downloads**: 92
- **Stars**: 2
- **Last updated**: 2026-09-09

Source: https://www.modelscope.cn/models/bchen61/Qwen3.8-27B-AWQ

---

# Qwen3.8-27B-AWQ

基础模型：[Qwen/Qwen3.8-27B](https://www.modelscope.cn/models/Qwen/Qwen3.8-27B)

本仓库是 Qwen3.8-27B 的 **AWQ W4A16 量化版本**，使用中英混合校准数据量化，以 compressed-tensors 格式保存，可直接被 vLLM 加载。

**核心收益：从 3 卡部署降到单卡。** 在 32GB 显卡上，原版 bf16 需要 3 张卡，官方 FP8 版本（29GB）单卡放下后几乎没有 KV cache 空间，而本量化版本单卡即可提供 32K 上下文的完整服务。

| | 原版 bf16 | 官方 FP8 | **本仓库 AWQ** |
|---|---|---|---|
| 体积 | 52 GB | 29 GB | **21 GB** |
| 32GB 卡最少张数 | 3 | 2 | **1** |
| 单卡可用 KV cache | — | 几乎没有 | **6.7 GiB** |

## 量化细节

- **算法**：AWQ（Activation-aware Weight Quantization）
- **精度**：W4A16 非对称，group_size = 128
- **工具**：[llmcompressor](https://github.com/vllm-project/llm-compressor) 0.13.0
- **保存格式**：compressed-tensors `pack-quantized`（vLLM 用 Marlin 内核加载）
- **校准数据**：中英混合 512 条，平均 1526 token
  - 英文：`HuggingFaceH4/ultrachat_200k`
  - 中文：`llamafactory/alpaca_zh`

### 量化范围

| | Linear 层数 | 参数量 |
|---|---|---|
| 量化为 INT4 | 346 | 22.77 B |
| 保留 bf16 | 261 | 3.31 B |

**保留 bf16 的部分及原因：**

| 模块 | 原因 |
|---|---|
| `visual.*` 完整视觉塔 | 仅 0.47B 参数，量化收益小但明显损害图像理解能力 |
| `linear_attn.in_proj_a` / `in_proj_b` | 输出维度仅 48，控制 Gated DeltaNet 的衰减门控，数值极敏感 |
| `self_attn.q/k/v_proj` | 保守取舍以保证质量 |
| `layers.0` 整层 | 首层对量化误差最敏感 |
| `lm_head` | 输出头 |
| `mtp.*` | MTP 投机解码头，完整保留 |

> **MTP 权重已完整保留。** transformers 在加载/保存往返中会丢弃 `mtp.*`（4.25 亿参数），本仓库已从原始权重回填，因此可正常使用 vLLM 的 MTP 投机解码。常规推理不受影响（vLLM 会自动跳过这部分权重）。

## 依赖

```bash
vllm >= 0.27.1
transformers >= 5.14
```

## vLLM 启动命令

### 单卡（32GB）

```bash
vllm serve Qwen3.8-27B-AWQ \
  --max-model-len 32768 \
  --max-num-seqs 16 \
  --gpu-memory-utilization 0.93 \
  --limit-mm-per-prompt '{"image":2}' \
  --trust-remote-code
```

### 双卡 TP=2

```bash
vllm serve Qwen3.8-27B-AWQ \
  --tensor-parallel-size 2 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.93 \
  --limit-mm-per-prompt '{"image":2}' \
  --trust-remote-code
```

### 参数说明（重要）

**`--max-num-seqs` 在单卡上必须调小。** Gated DeltaNet 线性注意力的循环状态是**按序列**分配的（每条约 150MB），并发数是显存的主要变量，影响远大于 `--max-model-len`。实测：

| | 权重占用 | KV cache | vLLM 默认 `max_num_seqs=128` |
|---|---|---|---|
| 单卡 | 20.5 GiB | 6.7 GiB | ❌ 启动 OOM，需设为 16 |
| 双卡 TP=2 | 每卡 10.5 GiB | 15.1 GiB | ✅ 可直接使用默认值 |

**`--limit-mm-per-prompt` 建议设置。** 不限制时，启动阶段按最大图像特征做显存画像可能 OOM。

**首次请求有约 30-50 秒的 Triton 内核 JIT 冷启动**，属正常现象，压测前请先预热。

## 性能实测

测试环境：RTX 5090 (32GB) × 1 / × 2，vLLM 0.27.1，32K 上下文，输出 256 token

| 并发 | 单卡总吞吐 | 双卡 TP=2 总吞吐 |
|---|---|---|
| 1 | 74.6 tok/s | 105.6 tok/s |
| 4 | 258.4 tok/s | 347.5 tok/s |
| 16 | 953.5 tok/s | 1270.6 tok/s |
| 32 | — | 1932.7 tok/s |
| 64 | — | 2417.8 tok/s |
| 128 | — | 2787.6 tok/s |

## 功能验证

| 测试项 | 结果 |
|---|---|
| 中文常识问答 | ✅ |
| 英文问答 | ✅ |
| 数学计算 | ✅ 17×19+45/5 = 332，推导步骤正确 |
| 代码生成 | ✅ |
| 多步逻辑推理 | ✅ |
| **图像理解** | ✅ 正确识别图中形状、颜色与相对位置 |

## 调用示例

```python
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")

# 文本
resp = client.chat.completions.create(
    model="Qwen3.8-27B-AWQ",
    messages=[{"role": "user", "content": "用一句话解释什么是模型量化"}],
)
print(resp.choices[0].message.content)

# 图像
resp = client.chat.completions.create(
    model="Qwen3.8-27B-AWQ",
    messages=[{"role": "user", "content": [
        {"type": "image_url", "image_url": {"url": "https://example.com/img.jpg"}},
        {"type": "text", "text": "描述这张图片"},
    ]}],
)
print(resp.choices[0].message.content)
```

关闭思考模式：

```python
resp = client.chat.completions.create(
    model="Qwen3.8-27B-AWQ",
    messages=[...],
    extra_body={"chat_template_kwargs": {"enable_thinking": False}},
)
```

## 已知限制

- `o_proj` 和 `linear_attn.out_proj` 实际为 RTN 量化而非完整 AWQ。原因是 GQA 架构下 `v_proj` 输出维度（1024）与 `o_proj` 输入维度（6144）不匹配，无法建立平滑映射。这是架构固有限制。
- 校准数据为纯文本。视觉塔本身未量化，图像能力经测试保持完好。

## 许可证

继承基础模型的 Apache 2.0 许可证，详见 [LICENSE](./LICENSE)。
