---
title: glm-4-9b-chat-GPTQ-Int4
canonical_url: "https://www.modelscope.cn/models/tclf90/glm-4-9b-chat-GPTQ-Int4"
md_url: "https://www.modelscope.cn/models/tclf90/glm-4-9b-chat-GPTQ-Int4.md"
repository: tclf90/glm-4-9b-chat-GPTQ-Int4
chinese_name: "GLM-4-9B-Chat-GPTQ-Int4-量化修复"
last_updated: 2024-08-29
license: GLM-4
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - chatglm
architectures:
  - ChatGLMForConditionalGeneration
parameters: 2.3B
tensor_type:
  - I32
  - BF16
library_name:
  - safetensors
  - pytorch
frameworks:
  - Pytorch
inference_backends:
  - "deploy_task text/emb"
  - "lmdeploy_turbomind 0.9.1"
  - "vllm 0.9.2"
downloads: 96624
stars: 9
tags:
  - chatglm
  - gptq
  - int4
  - "量化修复"
  - vLLM
---

# glm-4-9b-chat-GPTQ-Int4

> glm-4-9b-chat-GPTQ-Int4 - tclf90 在 ModelScope 开源的模型。GLM-4-9B-Chat-GPTQ-Int4-量化修复 原模型 ZhipuAI/glm-4-9b-chat

tclf90/glm-4-9b-chat-GPTQ-Int4 是 ModelScope 魔搭社区上的 2.3B 参数text-generation模型，采用 GLM-4 许可，可用 deploy_task text/emb、lmdeploy_turbomind 0.9.1、vllm 0.9.2 部署。

- **Repository**: tclf90/glm-4-9b-chat-GPTQ-Int4
- **License**: GLM-4
- **Tasks**: text-generation
- **Parameters**: 2.3B
- **Inference backends**: deploy_task text/emb, lmdeploy_turbomind 0.9.1, vllm 0.9.2
- **Tags**: chatglm, gptq, int4, 量化修复, vLLM
- **Downloads**: 96624
- **Stars**: 9
- **Last updated**: 2024-08-29

Source: https://www.modelscope.cn/models/tclf90/glm-4-9b-chat-GPTQ-Int4

---

# GLM-4-9B-Chat-GPTQ-Int4-量化修复
原模型 [ZhipuAI/glm-4-9b-chat](https://www.modelscope.cn/models/ZhipuAI/glm-4-9b-chat)


### 【模型更新日期】

注：通过`snapshot_download`函数传入`revision=...`来下载指定的`tag`版本

```
【tag】2024-08-29
1. 添加24-08-28版本的group128版本

【tag】2024-08-28
1. 优化量化算法，原有基础上继续降低约50%的量化损失
2. 支持双卡启动（tp size 2）

2024-06-18
1. 优化模型量化损失
```


### 【模型大小】
`6.3GB`

### 【修复内容】
1. 对GPTQ量化的校准做了额外优化；减少模型的 `1.乱吐字`、`2.无限循环`、`3.长文能力丢失`等情况。
2. 有些推理框架的默认`top_k`与`top_p`较大，可以考虑减小对应数值，来获得更合理的模型输出。
3. 根据具体情况，可以支持1卡、2卡或4卡的`tensor-parallel-size`启动。

### 【介绍】
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。 除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。 本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。我们还推出了支持 1M 上下文长度（约 200 万中文字符）的模型。

[更多详情...](https://www.modelscope.cn/models/ZhipuAI/glm-4-9b-chat/summary)

### 【模型下载】
```python
from modelscope import snapshot_download
model_dir = snapshot_download('tclf90/模型名', cache_dir="本地路径")
```

### 【高并发RESTFul API推理】
方式1：[vllm](https://github.com/vllm-project/vllm)

方式2：[sglang](https://github.com/sgl-project/sglang)

目前在模型支持的前提下，更推荐使用sglang进行部署。