---
title: Qwen3.8-27B-W4A16
canonical_url: "https://www.modelscope.cn/models/SereaCT/Qwen3.8-27B-W4A16"
md_url: "https://www.modelscope.cn/models/SereaCT/Qwen3.8-27B-W4A16.md"
repository: SereaCT/Qwen3.8-27B-W4A16
chinese_name: Qwen3.8-27B-W4A16
last_updated: 2026-08-30
pipeline_tag: multimodal-dialogue
tasks:
  - multimodal-dialogue
model_type:
  - qwen3_5
architectures:
  - Qwen3_5ForConditionalGeneration
parameters: 28.0B
tensor_type:
  - I64
  - F16
  - BF16
  - I32
library_name:
  - safetensors
downloads: 37
stars: 2
---

# Qwen3.8-27B-W4A16

> Qwen3.8-27B-W4A16 - SereaCT 在 ModelScope 开源的模型。基于 Qwen3.8-27B 的 W4A16 量化推理变体（单卡 RTX 4090D 低延迟方案，131K 上下文）。目标是让 27B 模型在单卡 24GB 上完整驻留，同时通过 KV 量化与投机解码达到可用的长上下文与吞吐。

- **Repository**: SereaCT/Qwen3.8-27B-W4A16
- **Tasks**: multimodal-dialogue
- **Parameters**: 28.0B
- **Downloads**: 37
- **Stars**: 2
- **Last updated**: 2026-08-30

Source: https://www.modelscope.cn/models/SereaCT/Qwen3.8-27B-W4A16

---

# Qwen3.8-27B-W4A16 量化方法与原版来源

> 对象：`qwen3.8-27b-w4a16`（4090-1 单卡方案实际部署权重）

---

## 1. 一句话总结

用 AutoRound（SignRound 算法）把 Qwen3.8-27B 的线性层权重从 BF16 压到 **INT4（weight-only，W4A16）**，
group_size=128 对称量化，激活保持 FP16；再在基础产物上做 "AutoRound-fast" 增强
（embed/lm_head 量化为 int4、MTP 层量化为 int8、构建 MTP draft vocab），
得到 15GB / 17 文件的最终部署权重，可整体驻留单卡 RTX 4090D 24GB，并配合 KVarN KV 量化支撑 131K 上下文。

## 2. 部署权重与产物位置


最终权重文件清单（17 文件）：

```text
chat_template.jinja / config.json / generation_config.json
model-00001..00007-of-00007.safetensors（7 个主分片）
model.safetensors.index.json
model_extra_tensors.safetensors      # MTP 量化张量（327MB）
mtp_draft_vocab_ids.pt               # MTP draft vocab（40960 ids，packed 213MB）
processor_config.json
quantization_config.json.bak-linear-only
tokenizer.json / tokenizer_config.json
```

## 3. 第一步：基础量化（AutoRound INT4 W4A16）

### 3.1 环境与命令

- 节点：本任务只用 **1 张 4090D**（`nvidia.com/gpumem: 24564`），160Gi 内存
- 镜像：`vllm-openai:v0.25.1`，进入后 `pip install auto-round==0.13.0`
- 命令：

```bash
auto-round /Qwen3.8-27B \
  --output_dir /Qwen3.8-27B-int4-AutoRound \
  --device_map 0 --low_gpu_mem_usage \
  --nsamples 32 --iters 100 --seqlen 2048 --batch_size 4
```

- 收尾：CLI 默认产物在子目录 `Qwen3.8-27B-w4g128/`，Job 里整体移到目录顶层

### 3.2 量化参数

| 字段 | 值 |
| ---- | ---- |
| 位宽 | 4-bit int（weight-only，W4A16） |
| group_size | 128（每 128 个权重共享一个 scale） |
| 对称 | 是（`sym: true`，zero 恒为 8，qzeros 在 sym 下无实际作用） |
| 打包格式 | `auto_round:auto_gptq`（vLLM 兼容） |
| 校准样本 | `NeelNanda/pile-10k` 前 32 条（轻量档） |
| iters / seqlen / batch | 100 / 2048 / 4 |

AutoRound 官方配方对比：default 128 样本/200 轮、best 512/1000、light 128/50、rtn 1/0。
本项目 32/100 属于**自定义轻量档**：速度快，但样本偏少可能过拟合校准集，正式上线建议 `--nsamples 128 --iters 200` 重跑。

### 3.3 算法原理（SignRound）

1. 基线 RTN：`q = clamp(round(W / scale), -8, 7) + 8`，对边界附近的取舍是"拍脑袋"的。
2. SignRound：把"向上取整还是向下取整"变成可学习符号（+1/−1），用 STE 让梯度穿过取整，
   在**校准数据**上最小化量化层输出与 FP16 层输出的重建误差（MSE 类损失），
   梯度下降同时优化舍入符号与 scale。
3. 与 GPTQ 区别：GPTQ 用 Hessian 逆做逐列误差补偿；SignRound 直接优化舍入方向，计算轻、效果好。
4. 实测佐证：存储 q 与 `round(W/scale)+8`（RTN）逐元素比对，绝大多数不一致——正是 SignRound 翻转舍入的签名。

### 3.4 量化范围与豁免

- 量化对象：`model.language_model.layers` 内全部 `Linear` 层（含 MTP 相关张量）
- 豁免（保持 FP16，AutoRound 默认或 `extra_config` 指定）：
  - 视觉塔（`model.visual.*`）完全未量化；
  - SSM/GDN 线性注意力中对量化敏感的投影层（如 `in_proj_a/b`）；
  - `A_log / dt_bias / conv1d` 等非 Linear 参数默认不量化。

### 3.5 校准数据

- 默认数据集：`NeelNanda/pile-10k`（The Pile 的 10k 条子集），取前 32 条、按 seqlen 2048 截断/拼接。
- 用途：收集层激活统计以初始化/优化 scale；驱动 SignRound 舍入方向优化（重建损失在真实激活上算）。
- 不更新权重本身（非微调），只决定"怎么舍入、用什么 scale"。
- 实践建议：代码/agent 场景最好用与部署分布相近的语料校准；样本 128+ 更稳。

## 4. 第二步：AutoRound-fast 变体（实际部署版）

在基础产物之上（`/repro-syv-ai/Qwen3.8-27B-W4A16-AutoRound-fast`），
通过脚本流水线追加（日志可证，`quant_embed.log` / `quant_lm_head.log` / `quant_mtp.log` / `build_draft_vocab.log`）：

| 步骤 | 内容 | round-trip 相对误差 |
| ---- | ---- | ---- |
| quant_embed | `embed_tokens.weight` 量化为 int4 g128 | 0.0056 |
| quant_lm_head | `lm_head.weight` 量化为 int4 g128 | 0.0064 |
| quant_mtp | MTP 层量化为 **int8 g128**（`mtp.fc`、`mtp.layers.0.mlp.down/gate/up_proj`、`self_attn.q/k/v/o_proj` 共 8 个线性层） | 0.0066–0.0153 |
| build_draft_vocab | 从 `draft_vocab_ids.json` 构建 MTP draft head（40960 ids，packed int32 + fp16 scales，213MB）→ `mtp_draft_vocab_ids.pt` | — |

- `config.json` 内嵌 `quantization_config`（compressed-tensors / pack-quantized 格式，多 config group：
  group_0 = Linear 4bit int sym g128；group_1 针对 `lm_head` 等）；
- 目录中另有 `quantization_config.json.bak-linear-only`（linear-only 旧配置备份）；
- 视觉塔仍全部豁免。

## 5. 推理链路（vLLM 如何反量化）

1. 读 `quantization_config`，`quant_method == "compressed-tensors"/"auto-round"` 路由到 **INC 量化后端**。
2. INT4 WNA16（weight-only）→ `INCWna16LinearScheme`，`packing_format=auto_round:auto_gptq` 走 GPTQ 分支
   → 复用 `AutoGPTQLinearMethod` + **Marlin kernel**（`uint4b8`、group 128、`is_sym=True`、`desc_act=False`）。
3. `extra_config` 中豁免层 → `UnquantizedLinearMethod`，权重 FP16 直通。
4. 反量化在 kernel 内完成：权重 int4 打包存储，计算前按组解出并乘 scale 得 FP16，再做 FP16 GEMM（标准 W4A16 模式）。

## 6. 原版（基座）在哪里

| 来源 | 位置 |
| ---- | ---- |
| HuggingFace（官方） | https://huggingface.co/Qwen/Qwen3.8-27B（Apache-2.0） |
| ModelScope 镜像 | https://modelscope.cn/models/Qwen/Qwen3.8-27B |

## 7. 特点与坑

1. **布局是转置的**：`qweight [in/8, out]`，解包沿输入方向、小端序；写自定义 kernel 时最容易踩坑。
2. **qzeros 在 sym 下是摆设**：反量化 zero 恒为 8，别拿它当 zero point。
3. **混合注意力模型量化重点在 SSM 层**：靠 `extra_config` 豁免 `in_proj_a/b`，其它 SSM 参数默认不量化。
4. **视觉塔完全没量**：纯文本任务没问题；多模态显存仍主要被视觉塔吃掉。
5. **轻量校准的精度风险**：32 样本/100 轮 = 快速验证档，正式上线建议 default 配方（128/200）重跑并做 PPL/任务评测对比。
6. **性能特征**：显存 52GB → 15GB，decode 阶段（带宽瓶颈）通常比 BF16 快；prefill 受反量化开销影响未必更快；
   Marlin FP16 累加，数值精度略低于 BF16。
7. **MTP 层也被量化**（`model_extra_tensors.safetensors` 中 int8 g128），`mtp.fc` 默认豁免；部署时是否启用 MTP 取决于 vLLM 配置。
