---
title: GLM-5.3-Channel-INT4-w4a8
canonical_url: "https://www.modelscope.cn/models/hygon/GLM-5.3-Channel-INT4-w4a8"
md_url: "https://www.modelscope.cn/models/hygon/GLM-5.3-Channel-INT4-w4a8.md"
repository: hygon/GLM-5.3-Channel-INT4-w4a8
last_updated: 2026-10-19
license: other
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - glm_moe_dsa
architectures:
  - GlmMoeDsaForCausalLM
base_model:
  - ZhipuAI/GLM-5.3
base_model_relation: quantized
parameters: 769.0B
tensor_type:
  - I32
  - BF16
  - I8
  - F32
library_name:
  - safetensors
  - pytorch
frameworks:
  - pytorch
downloads: 99
stars: 3
---

# GLM-5.3-Channel-INT4-w4a8

> GLM-5.3-Channel-INT4-w4a8 - hygon 在 ModelScope 开源的模型。GLM-5.3-Channel-INT4-w4a8

hygon/GLM-5.3-Channel-INT4-w4a8 是 ModelScope 魔搭社区上的 769.0B 参数text-generation模型，采用 other 许可，基于 ZhipuAI/GLM-5.3 构建。

- **Repository**: hygon/GLM-5.3-Channel-INT4-w4a8
- **License**: other
- **Tasks**: text-generation
- **Parameters**: 769.0B
- **Base model**: ZhipuAI/GLM-5.3
- **Downloads**: 99
- **Stars**: 3
- **Last updated**: 2026-10-19

Source: https://www.modelscope.cn/models/hygon/GLM-5.3-Channel-INT4-w4a8

---

# GLM-5.3-Channel-INT4-w4a8

本仓库由海光信息（Hygon）发布，基于 [ZhipuAI/GLM-5.3](https://www.modelscope.cn/models/ZhipuAI/GLM-5.3) 的 BF16 权重量化。量化后的主干 MoE 专家及 MTP 专家使用 INT4 W4A8；部分注意力层、共享专家与密集层使用 INT8 W8A8。

## 1. 基本信息

| 项目 | 内容 |
|---|---|
| 基础模型 | [ZhipuAI/GLM-5.3](https://www.modelscope.cn/models/ZhipuAI/GLM-5.3)（BF16 权重） |
| 量化类型 | Channel INT4 W4A8 + INT8 W8A8；MTP 专家为 INT4 |
| 权重量化 | RTN、Static、Per-Channel；主干及 MTP 路由专家为 INT4，其余指定线性层为 INT8；格式为 `compressed-tensors` |
| 激活量化 | Dynamic、Per-Token INT8；无需数据集校准 |
| 验证硬件 | 单机 8 卡海光 BW1000 DCU（每卡 64 GiB） |
| 验证环境 | SGLang 0.5.18；镜像 `jenkins/model_test_env/sglang:0.5.18-ubuntu22.04-dtk26041-py3.10-sf_b075-20261014-0406`；EvalScope 1.13.0 |
| 许可证 | [GLM-5.3 License](./LICENSE) |

## 2. 测试步骤

以下命令对应单机 8 卡 BW1000 验证。使用上述 SGLang 镜像，挂载完整模型目录及评测数据目录后，在容器内运行；镜像仓库地址由实际部署环境提供。将 `/path/to/model` 和 `/path/to/datasets` 替换为实际挂载路径。精度评测关闭思考模式。

```bash
# 环境准备：验证环境中的评测工具版本
python -m pip install 'evalscope==1.13.0'
export MODEL_PATH=/path/to/model
export HIP_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
export GLIBC_TUNABLES=glibc.rtld.optional_static_tls=0x40000
export HSA_ENABLE_COREDUMP=0 HIP_BUFFER_EXTRA_SIZE=0
export HIP_KERNEL_EVENT_SYSTENFENCE=1 HIP_KERNEL_BATCH_CEILING=100
export GPU_FORCE_BLIT_COPY_SIZE=16 HSA_KERNARG_POOL_SIZE=8388608
export ROC_AQL_QUEUE_SIZE=131072 GPU_MAX_HW_QUEUES=3
export HIP_GRAPH_ACCUMULATE_DISPATCH=1 HIP_GRAPH_USE_CMD_CACHE=1
export NCCL_IB_DISABLE=1 ALLREDUCE_STREAM_WITH_COMPUTE=1
export SGLANG_ROCM_USE_MULTI_STREAM=0 SGLANG_USE_LIGHTOP=1
export SGLANG_ROCM_USE_AITER_MOE=0
export SGLANG_USE_LIGHTOP_W4A8_MARLIN_MOE=1
export SGLANG_W4A8_TPMOE_BACKEND=lightop
export SGLANG_OPT_USE_TOPK_V2=0
export SGLANG_NSA_MQA_LOGITS_MEMORY_BUDGET_GB=2
export SGLANG_DSA_HCU_LIGHTOP_MASK_TOPK=1
export LIGHTOP_SPARSE_MQA_GROUP6_ROWS_PER_CTA=3
export SGLANG_ENABLE_HCU_CONCAT_MLA_ABSORB_Q=1
export SGLANG_OPT_SWIGLU_CLAMP_FUSION=0
export SGLANG_UVICORN_WORKER_HEALTHCHECK_TIMEOUT=120

# 服务启动
sglang serve \
  --model-path "$MODEL_PATH" \
  --chat-template "$MODEL_PATH/chat_template_nothink.jinja" \
  --trust-remote-code \
  --served-model-name GLM-5.3-W4A8 \
  --host 0.0.0.0 --port 30000 \
  --dtype bfloat16 --quantization compressed-tensors \
  --tokenizer-worker-num 1 \
  --nnodes 1 --node-rank 0 --tp-size 8 --dp-size 1 --ep-size 1 \
  --custom-all-reduce-backend native \
  --nsa-prefill-backend flashmla_sparse \
  --nsa-decode-backend flashmla_kv \
  --context-length 1048576 \
  --mem-fraction-static 0.86 \
  --page-size 64 --kv-cache-dtype fp8_e4m3 \
  --chunked-prefill-size 32768 --max-running-requests 8 \
  --speculative-algorithm EAGLE \
  --speculative-num-steps 5 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 6 \
  --json-model-override-args '{"index_share_for_mtp_iteration": false}' \
  --cuda-graph-max-bs 8 \
  --reasoning-parser glm45 --tool-call-parser glm47 \
  --dist-timeout 10000 --watchdog-timeout 3600
```

在另一个终端运行评测。三个数据集均为 0-shot、完整测试集；MATH-500 取 Level 1–5 的总体准确率。

```bash
# HumanEval：164 题
EVAL_GENERATION_CONFIG='{"temperature":0.0,"top_p":1.0,"max_tokens":8192,"do_sample":true,"seed":42,"stream":true,"timeout":36000,"extra_body":{"skip_special_tokens":false,"chat_template_kwargs":{"enable_thinking":false}}}'
evalscope eval \
  --model GLM-5.3-W4A8 \
  --model-id glm53_w4a8_mtp_int4_nothink \
  --api-url http://127.0.0.1:30000/v1 --api-key EMPTY \
  --eval-type openai_api \
  --datasets humaneval \
  --dataset-args '{"humaneval":{"dataset_id":"/path/to/datasets/humaneval","subset_list":["default"],"few_shot_num":0,"shuffle":false}}' \
  --eval-batch-size 8 \
  --generation-config "$EVAL_GENERATION_CONFIG" \
  --seed 42 --work-dir ./eval_logs/humaneval

# GSM8K：1319 题；MATH-500：Level 1–5，共 500 题
evalscope eval \
  --model GLM-5.3-W4A8-MTP-int4 \
  --model-id glm53_w4a8_mtp_int4_nothink \
  --api-url http://127.0.0.1:30000/v1 --api-key EMPTY \
  --eval-type openai_api \
  --datasets gsm8k math_500 \
  --dataset-args '{"gsm8k":{"dataset_id":"/path/to/datasets/gsm8k","subset_list":["default"],"few_shot_num":0,"shuffle":false},"math_500":{"dataset_id":"/path/to/datasets/math_500","subset_list":["Level 1","Level 2","Level 3","Level 4","Level 5"],"few_shot_num":0,"shuffle":false}}' \
  --eval-batch-size 8 \
  --generation-config "$EVAL_GENERATION_CONFIG" \
  --seed 42 --work-dir ./eval_logs/gsm8k_math500
```

## 3. 精度结果


| 数据集 | 指标 | Channel-FP8（%） | INT4 W4A8（%） | 差值（百分点） |
|---|---|---:|---:|---:|
| humaneval| pass@1 | 97.0 | 98.17 | +1.17 |
| math_500 | accuracy | 94.0 | 94.40 | +0.40 |
| gsm8k | accuracy | 96.8 | 97.12 | +0.32 |

## 4. 下载方式

发布至 ModelScope 后，使用与仓库名称一致的模型 ID 下载：

```python
from modelscope import snapshot_download

model_dir = snapshot_download(
    "hygon/GLM-5.3-Channel-INT4-w4a8"
)
```

## 5. License

本模型沿用上游 ZhipuAI/GLM-5.3 的 **GLM-5.3 License**，版权及使用条件以仓库根目录的 [LICENSE](./LICENSE) 原文为准。