---
title: Qwen3.5-9B-GPTQ-W4A16-G128-LLMCompressor
canonical_url: "https://www.modelscope.cn/models/kfcVme50/Qwen3.5-9B-GPTQ-W4A16-G128-LLMCompressor"
md_url: "https://www.modelscope.cn/models/kfcVme50/Qwen3.5-9B-GPTQ-W4A16-G128-LLMCompressor.md"
repository: kfcVme50/Qwen3.5-9B-GPTQ-W4A16-G128-LLMCompressor
chinese_name: Qwen3.5-9B-GPTQ-W4A16-G128-LLMCompressor
last_updated: 2026-11-04
license: apache-2.0
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
model_type:
  - qwen3_5
architectures:
  - Qwen3_5ForConditionalGeneration
base_model:
  - Qwen/Qwen3.5-9B
base_model_relation: quantized
parameters: 9.4B
tensor_type:
  - F16
  - I64
  - I32
  - BF16
library_name:
  - safetensors
downloads: 9
stars: 0
tags:
  - qwen3_5
  - gptq
  - int4
  - compressed-tensors
  - llm-compressor
  - vllm
---

# Qwen3.5-9B-GPTQ-W4A16-G128-LLMCompressor

> Qwen3.5-9B-GPTQ-W4A16-G128-LLMCompressor - kfcVme50 在 ModelScope 开源的模型。Qwen3.5-9B-GPTQ-W4A16-G128-LLMCompressor

kfcVme50/Qwen3.5-9B-GPTQ-W4A16-G128-LLMCompressor 是 ModelScope 魔搭社区上的 9.4B 参数image-text-to-text模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.5-9B 构建。

- **Repository**: kfcVme50/Qwen3.5-9B-GPTQ-W4A16-G128-LLMCompressor
- **License**: apache-2.0
- **Tasks**: image-text-to-text
- **Parameters**: 9.4B
- **Base model**: Qwen/Qwen3.5-9B
- **Tags**: qwen3_5, gptq, int4, compressed-tensors, llm-compressor, vllm
- **Downloads**: 9
- **Stars**: 0
- **Last updated**: 2026-11-04

Source: https://www.modelscope.cn/models/kfcVme50/Qwen3.5-9B-GPTQ-W4A16-G128-LLMCompressor

---

# Qwen3.5-9B-GPTQ-W4A16-G128-LLMCompressor

基于 Qwen3.5-9B 制作的 GPTQ W4A16 量化模型，使用 llm-compressor 0.14.0 制作，以 compressed-tensors 0.19.0 格式保存。

## 量化配置

使用 GPTQ 将 128 个语言线性层的权重量化为 INT4，组大小为 128，采用对称量化和静态 actorder，激活使用 FP16。校准使用 GSM8K 训练集的 256 条问题，seed 42，序列上限 512 token。权重共 10.651 GiB。 `visual`、`linear_attn`、`lm_head` 及其他非目标层保留浮点精度，KV cache 沿用推理引擎的默认设置。

制作所用的上游提交号未记录。

## 文本推理

完整下载仓库后，在支持 compressed-tensors 的 vLLM 0.32.0 环境运行。模型目录应包含权重、索引、配置和 tokenizer。示例使用文本输入。

```python
from vllm import LLM, SamplingParams
llm = LLM(model="./Qwen3.5-9B-GPTQ-W4A16-G128-LLMCompressor",
          dtype="float16", enforce_eager=True, max_model_len=4096,
          gpu_memory_utilization=0.90, max_num_seqs=1,
          limit_mm_per_prompt={"image": 0, "video": 0})
tokenizer = llm.get_tokenizer()
prompt = tokenizer.apply_chat_template([{"role": "user", "content": "Explain binary search."}],
                                      tokenize=False, add_generation_prompt=True)
outputs = llm.generate([prompt], SamplingParams(temperature=0, max_tokens=1024))
print(outputs[0].outputs[0].text)
```

## 验证结果

在 RTX 4090 D 上使用 vLLM 0.32.0 和 Marlin W4A16。历史对照使用 GSM8K 测试集前 100 题、默认思考模板和 1024-token 上限。各组触顶率超过 90%，表中正确率受生成预算限制。FP8 行对应当时的实验版本。

| 模型 | 正确/100 | 准确率 | 答案解析率 | 触顶率 | 串行 token/s | 峰值 allocated GiB | 峰值 reserved GiB | 权重 GiB |
|---|---:|---:|---:|---:|---:|---:|---:|---:|
| FP16 | 24 | 24.0% | 25.0% | 91.0% | 40.075 | 20.645 | 20.662 | 17.980 |
| FP8 | 28 | 28.0% | 28.0% | 91.0% | 31.595 | 20.416 | 20.434 | 13.045 |
| GPTQ | 27 | 27.0% | 27.0% | 96.0% | 31.521 | 20.607 | 20.645 | 10.651 |

## 复现与许可

以下命令在配套量化代码项目中运行。

```bash
python run.py quantize --tool llmcompressor --method gptq --stage full \
  --model ./workspace/base_models/Qwen3.5-9B \
  --output ./workspace/models/LLMCompressor/Qwen3.5-9B-GPTQ-W4A16-G128-LLMCompressor \
  --samples 256 --max-seq-length 512 --seed 42
```

量化参数见 [config.json](config.json) 和 [recipe.yaml](recipe.yaml)，文件校验值见 [SHA256SUMS](SHA256SUMS)。模型沿用基座的 [Apache-2.0 许可](LICENSE)。