---
title: GLM-5.3-Channel-FP8-w8a8
canonical_url: "https://www.modelscope.cn/models/hygon/GLM-5.3-Channel-FP8-w8a8"
md_url: "https://www.modelscope.cn/models/hygon/GLM-5.3-Channel-FP8-w8a8.md"
repository: hygon/GLM-5.3-Channel-FP8-w8a8
last_updated: 2026-10-30
license: mit
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - glm_moe_dsa
architectures:
  - GlmMoeDsaForCausalLM
parameters: 753.3B
tensor_type:
  - F32
  - F8_E4M3
  - BF16
library_name:
  - safetensors
  - pytorch
frameworks:
  - pytorch
downloads: 104
stars: 4
---

# GLM-5.3-Channel-FP8-w8a8

> GLM-5.3-Channel-FP8-w8a8 - hygon 在 ModelScope 开源的模型。GLM-5.3-Channel-FP8-w8a8

hygon/GLM-5.3-Channel-FP8-w8a8 是 ModelScope 魔搭社区上的 753.3B 参数text-generation模型，采用 mit 许可。

- **Repository**: hygon/GLM-5.3-Channel-FP8-w8a8
- **License**: mit
- **Tasks**: text-generation
- **Parameters**: 753.3B
- **Downloads**: 104
- **Stars**: 4
- **Last updated**: 2026-10-30

Source: https://www.modelscope.cn/models/hygon/GLM-5.3-Channel-FP8-w8a8

---

# GLM-5.3-Channel-FP8-w8a8

本仓库由海光信息（Hygon）发布，模型基于
[ZhipuAI/GLM-5.3](https://www.modelscope.cn/models/ZhipuAI/GLM-5.3)
进行 Channel FP8 W8A8 量化。

## 1. 基本信息

| 项目 | 内容 |
|---|---|
| 基础模型 | [ZhipuAI/GLM-5.3](https://www.modelscope.cn/models/ZhipuAI/GLM-5.3) |
| 量化类型 | Channel FP8 W8A8 |
| 权重量化 | Static、Per-Channel |
| 激活量化 | Dynamic、Per-Token |
| 许可证 | MIT |

## 2. 测试步骤


```bash
# 环境准备
docker pull vllm/vllm-openai:v0.30.0
docker run --gpus all -itd \
  --entrypoint /bin/bash \
  -v /opt/hyhal:/opt/hyhal:ro \
  --privileged=true \
  --network=host \
  --device /dev/mem \
  --shm-size=200g \
  --name test_quant \
  vllm/vllm-openai:v0.30.0
docker exec -it test_quant bash
pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple evalscope

# 服务启动
vllm serve "${MODEL_PATH}" \
  --tensor-parallel-size 8 \
  --kv-cache-dtype fp8 \
  --tool-call-parser glm47 \
  --enable-auto-tool-choice \
  --reasoning-parser glm47 \
  --gpu-memory-utilization 0.92 \
  --max-model-len 512000 \
  --max-num-seqs 8 \
  --speculative-config '{"method":"mtp","num_speculative_tokens":5}' \

# 精度评测
evalscope eval --model "${MODEL_PATH}" \
  --api-url http://localhost:8000/v1 \
  --eval-type openai_api --api-key EMPTY_TOKEN \
  --datasets gsm8k --limit 100
evalscope eval --model "${MODEL_PATH}" \
  --api-url http://localhost:8000/v1 \
  --eval-type openai_api --api-key EMPTY_TOKEN \
  --datasets humaneval --limit 100
evalscope eval --model "${MODEL_PATH}" \
  --api-url http://localhost:8000/v1 \
  --eval-type openai_api --api-key EMPTY_TOKEN \
  --datasets math_500 --dataset-args '{"math_500": {"subset_list": ["Level 3"]}}'
```


## 3. 精度结果

| 数据集 | 指标 | BLOCK-WISE-FP8（%） | CHANNEL-WISE-FP8（%） | 差值（百分点） |
|---|---|---:|---:|---:|
| gsm8k | / | 99 | 99 | 0 |
| humaneval | / | 100 | 100 | 0 |
| math_500 | / | 98.1 | 98.1 | 0 |

## 4. 下载方式

```python
from modelscope import snapshot_download

model_dir = snapshot_download(
    "hygon/GLM-5.3-Channel-FP8-w8a8"
)
```

## 5. License

本模型沿用上游 ZhipuAI/GLM-5.3 的 MIT 许可证，
具体条款请参见 [LICENSE](./LICENSE)。