---
title: Qwen1.5-32B-Chat-GPTQ-Int4-Repair
canonical_url: "https://www.modelscope.cn/models/tclf90/Qwen1.5-32B-Chat-GPTQ-Int4-Repair"
md_url: "https://www.modelscope.cn/models/tclf90/Qwen1.5-32B-Chat-GPTQ-Int4-Repair.md"
repository: tclf90/Qwen1.5-32B-Chat-GPTQ-Int4-Repair
chinese_name: "通义千问1.5-32B-对话-GPTQ-Int4-修复版"
last_updated: 2024-05-31
license: other
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - qwen2
architectures:
  - Qwen2ForCausalLM
parameters: 5.7B
tensor_type:
  - I32
  - F16
library_name:
  - safetensors
  - pytorch
frameworks:
  - Pytorch
inference_backends:
  - "deploy_task text/emb"
  - "lmdeploy 0.9.1"
  - "lmdeploy_turbomind 0.9.1"
  - "sglang 0.5.2"
  - "vllm 0.9.2"
downloads: 520
stars: 6
tags:
  - qwen
  - 32b
  - gptq
  - int4
  - chat
---

# Qwen1.5-32B-Chat-GPTQ-Int4-Repair

> Qwen1.5-32B-Chat-GPTQ-Int4-Repair - tclf90 在 ModelScope 开源的模型。Qwen1.5-32B-Chat-GPTQ Int4 模型量化

tclf90/Qwen1.5-32B-Chat-GPTQ-Int4-Repair 是 ModelScope 魔搭社区上的 5.7B 参数text-generation模型，采用 other 许可，可用 deploy_task text/emb、lmdeploy 0.9.1、lmdeploy_turbomind 0.9.1 部署。

- **Repository**: tclf90/Qwen1.5-32B-Chat-GPTQ-Int4-Repair
- **License**: other
- **Tasks**: text-generation
- **Parameters**: 5.7B
- **Inference backends**: deploy_task text/emb, lmdeploy 0.9.1, lmdeploy_turbomind 0.9.1, sglang 0.5.2, vllm 0.9.2
- **Tags**: qwen, 32b, gptq, int4, chat
- **Downloads**: 520
- **Stars**: 6
- **Last updated**: 2024-05-31

Source: https://www.modelscope.cn/models/tclf90/Qwen1.5-32B-Chat-GPTQ-Int4-Repair

---

# Qwen1.5-32B-Chat-GPTQ Int4 模型量化

### 【模型更新日期】
``` 2024-05-30 ```

重制并补全generation_config.json文件

### 【介绍】
千问官方`Qwen1.5-32B-Chat`量化模型存在一定程度的量化损失，并导致例如无限`!!!!!!`感叹号等问题。这里集中做一次修复。

| 模型名                                                                                                                   | 量化类型 | 量化比特 | 其余量化参数   | 评价                                                                            |
|-----------------------------------------------------------------------------------------------------------------------|------|------|----------|-------------------------------------------------------------------------------|
| [tclf90/Qwen1.5-32B-Chat-GPTQ-Int4-Repair](https://www.modelscope.cn/models/tclf90/Qwen1.5-32B-Chat-GPTQ-Int4-Repair) | GPTQ | int4 | group128 | <b>测试基线</b><br/>无明显的、量化造成的对话失真                                                |
| [tclf90/Qwen1.5-32B-Chat-GPTQ-Int3](https://www.modelscope.cn/models/tclf90/Qwen1.5-32B-Chat-GPTQ-Int3)               | GPTQ | int3 | group128 | <b>非常推荐</b><br/>对话、指令能力与其余量化版本，没有明显差别，但模型体积最小、占用显存最少，可以吞吐更长上下文，推理速度也比int4快10% |
| [tclf90/Qwen1.5-32B-Chat-AWQ-G32](https://www.modelscope.cn/models/tclf90/Qwen1.5-32B-Chat-AWQ-G32)                   | AWQ  | int4 | group32  | <b>没有特别亮点</b><br/>尝试用更小的group尺寸来减少量化损失，但在`Qwen1.5-32B-Chat`这个模型上没有表现出区别       |

<i>注：经测试，`Qwen1.5-32B-Chat` 的Int2量化，会胡言乱语，完全失去模型能力。</i>


### 【引用】

原模型 [Qwen1.5-32B-Chat](https://www.modelscope.cn/models/qwen/Qwen1.5-32B-Chat)

官方量化模型 [Qwen1.5-32B-Chat-GPTQ-Int4
](https://www.modelscope.cn/models/qwen/Qwen1.5-32B-Chat-GPTQ-Int4)

量化工具 [AutoGPTQ](https://github.com/AutoGPTQ/AutoGPTQ)