---
title: Qwen3-4B-ptq-W8A8
canonical_url: "https://www.modelscope.cn/models/Brilliantccc/Qwen3-4B-ptq-W8A8"
md_url: "https://www.modelscope.cn/models/Brilliantccc/Qwen3-4B-ptq-W8A8.md"
repository: Brilliantccc/Qwen3-4B-ptq-W8A8
last_updated: 2026-10-20
license: apache-2.0
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - qwen3
architectures:
  - Qwen3ForCausalLM
base_model:
  - Qwen/Qwen3-4B
base_model_relation: quantized
parameters: 4.0B
tensor_type:
  - BF16
  - I8
library_name:
  - transformer
  - safetensors
language:
  - zh
  - en
downloads: 6
stars: 0
tags:
  - quantization
  - ptq
  - 8bit
  - compressed-tensors
  - vllm
---

# Qwen3-4B-ptq-W8A8

> Qwen3-4B-ptq-W8A8 - Brilliantccc 在 ModelScope 开源的模型。Qwen/Qwen3-4B 的 SmoothQuant + GPTQ 量化版本，用 llm-compressor 生成， 权重格式为 compressed-tensors，可直接被 vLLM 加载（Marlin kernel）。

Brilliantccc/Qwen3-4B-ptq-W8A8 是 ModelScope 魔搭社区上的 4.0B 参数text-generation模型，采用 apache-2.0 许可，基于 Qwen/Qwen3-4B 构建。

- **Repository**: Brilliantccc/Qwen3-4B-ptq-W8A8
- **License**: apache-2.0
- **Tasks**: text-generation
- **Parameters**: 4.0B
- **Base model**: Qwen/Qwen3-4B
- **Tags**: quantization, ptq, 8bit, compressed-tensors, vllm
- **Downloads**: 6
- **Stars**: 0
- **Last updated**: 2026-10-20

Source: https://www.modelscope.cn/models/Brilliantccc/Qwen3-4B-ptq-W8A8

---

# Qwen3-4B-ptq-W8A8

Qwen/Qwen3-4B 的 **SmoothQuant + GPTQ** 量化版本，用
[llm-compressor](https://github.com/vllm-project/llm-compressor) 生成，
权重格式为 `compressed-tensors`，可直接被 vLLM 加载（Marlin kernel）。

W8A8 int8，激活也量化。

## 量化配置

| 项 | 值 |
|---|---|
| 基座模型 | `Qwen/Qwen3-4B` |
| 量化方法 | SmoothQuant + GPTQ |
| 权重位宽 | 8-bit |
| 激活位宽 | int8 |
| 分组大小 | 128 |
| 校准数据 | 本地 ultrachat 子集（约 128 条 × 1024 tokens） |
| 格式 | `compressed-tensors`（pack-quantized） |

## 实测结果

环境：AutoDL · RTX 4090 24GB · PyTorch 2.8.0+cu128 · vLLM 0.11.0

| 指标 | 值 |
|---|---|
| PPL (wikitext) | 12.871 |
| 模型体积 | 4.13 GiB |
| 量化耗时 | 5.3 分钟 |

## 用法

```python
from vllm import LLM, SamplingParams

llm = LLM(model="Brilliantccc/Qwen3-4B-ptq-W8A8", max_model_len=4096)
out = llm.generate(["用三句话解释什么是模型量化。"],
                   SamplingParams(temperature=0.7, top_p=0.8, max_tokens=256))
print(out[0].outputs[0].text)
```

也可以用 transformers（注意：非对称零点格式 transformers 可能解不开，
这类 checkpoint 请用 vLLM）：

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("Brilliantccc/Qwen3-4B-ptq-W8A8")
model = AutoModelForCausalLM.from_pretrained("Brilliantccc/Qwen3-4B-ptq-W8A8", dtype="auto", device_map="auto")
```

## 说明

- 量化会带来精度损失，建议在自己的业务数据上先做一次对比评测再上线；
- 该模型由社区工具链生成，遵循基座模型的许可证。

## 同系列量化模型

同一个基座、同一套校准配置下的其他量化结果，可横向对比（W4A16 体积相同，差异在精度与是否需要校准）：

| 模型 |
|---|
| [Qwen3-4B-awq-W4A16_ASYM](https://www.modelscope.cn/models/Brilliantccc/Qwen3-4B-awq-W4A16_ASYM) |
| [Qwen3-4B-gptq-W4A16](https://www.modelscope.cn/models/Brilliantccc/Qwen3-4B-gptq-W4A16) |
| [Qwen3-4B-rtn-W4A16](https://www.modelscope.cn/models/Brilliantccc/Qwen3-4B-rtn-W4A16) |