---
title: Qwen3-4B-gptq-W4A16
canonical_url: "https://www.modelscope.cn/models/Brilliantccc/Qwen3-4B-gptq-W4A16"
md_url: "https://www.modelscope.cn/models/Brilliantccc/Qwen3-4B-gptq-W4A16.md"
repository: Brilliantccc/Qwen3-4B-gptq-W4A16
last_updated: 2026-10-20
license: apache-2.0
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - qwen3
architectures:
  - Qwen3ForCausalLM
base_model:
  - Qwen/Qwen3-4B
base_model_relation: quantized
parameters: 4.0B
tensor_type:
  - I32
  - I64
  - BF16
library_name:
  - transformer
  - safetensors
language:
  - zh
  - en
downloads: 27
stars: 0
tags:
  - quantization
  - gptq
  - 4bit
  - compressed-tensors
  - vllm
---

# Qwen3-4B-gptq-W4A16

> Qwen3-4B-gptq-W4A16 - Brilliantccc 在 ModelScope 开源的模型。Qwen/Qwen3-4B 的 GPTQ 量化版本，用 llm-compressor 生成， 权重格式为 compressed-tensors，可直接被 vLLM 加载（Marlin kernel）。

Brilliantccc/Qwen3-4B-gptq-W4A16 是 ModelScope 魔搭社区上的 4.0B 参数text-generation模型，采用 apache-2.0 许可，基于 Qwen/Qwen3-4B 构建。

- **Repository**: Brilliantccc/Qwen3-4B-gptq-W4A16
- **License**: apache-2.0
- **Tasks**: text-generation
- **Parameters**: 4.0B
- **Base model**: Qwen/Qwen3-4B
- **Tags**: quantization, gptq, 4bit, compressed-tensors, vllm
- **Downloads**: 27
- **Stars**: 0
- **Last updated**: 2026-10-20

Source: https://www.modelscope.cn/models/Brilliantccc/Qwen3-4B-gptq-W4A16

---

# Qwen3-4B-gptq-W4A16

Qwen/Qwen3-4B 的 **GPTQ** 量化版本，用
[llm-compressor](https://github.com/vllm-project/llm-compressor) 生成，
权重格式为 `compressed-tensors`，可直接被 vLLM 加载（Marlin kernel）。

用 Hessian 做逐列误差补偿，需要校准数据。

## 量化配置

| 项 | 值 |
|---|---|
| 基座模型 | `Qwen/Qwen3-4B` |
| 量化方法 | GPTQ |
| 权重位宽 | 4-bit |
| 激活位宽 | fp16 |
| 分组大小 | 128 |
| 校准数据 | 本地 ultrachat 子集（约 128 条 × 1024 tokens） |
| 格式 | `compressed-tensors`（pack-quantized） |

## 实测结果

环境：AutoDL · RTX 4090 24GB · PyTorch 2.8.0+cu128 · vLLM 0.11.0

| 指标 | 值 |
|---|---|
| PPL (wikitext) | 13.608 |
| 模型体积 | 2.48 GiB |
| 量化耗时 | 4.6 分钟 |

## 用法

```python
from vllm import LLM, SamplingParams

llm = LLM(model="Brilliantccc/Qwen3-4B-gptq-W4A16", max_model_len=4096)
out = llm.generate(["用三句话解释什么是模型量化。"],
                   SamplingParams(temperature=0.7, top_p=0.8, max_tokens=256))
print(out[0].outputs[0].text)
```

也可以用 transformers（注意：非对称零点格式 transformers 可能解不开，
这类 checkpoint 请用 vLLM）：

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("Brilliantccc/Qwen3-4B-gptq-W4A16")
model = AutoModelForCausalLM.from_pretrained("Brilliantccc/Qwen3-4B-gptq-W4A16", dtype="auto", device_map="auto")
```

## 说明

- 量化会带来精度损失，建议在自己的业务数据上先做一次对比评测再上线；
- 该模型由社区工具链生成，遵循基座模型的许可证。

## 同系列量化模型

同一个基座、同一套校准配置下的其他量化结果，可横向对比（W4A16 体积相同，差异在精度与是否需要校准）：

| 模型 |
|---|
| [Qwen3-4B-awq-W4A16_ASYM](https://www.modelscope.cn/models/Brilliantccc/Qwen3-4B-awq-W4A16_ASYM) |
| [Qwen3-4B-ptq-W8A8](https://www.modelscope.cn/models/Brilliantccc/Qwen3-4B-ptq-W8A8) |
| [Qwen3-4B-rtn-W4A16](https://www.modelscope.cn/models/Brilliantccc/Qwen3-4B-rtn-W4A16) |