---
title: GLM-5.3-w4a4c8-mxfp4
canonical_url: "https://www.modelscope.cn/models/Eco-Tech/GLM-5.3-w4a4c8-mxfp4"
md_url: "https://www.modelscope.cn/models/Eco-Tech/GLM-5.3-w4a4c8-mxfp4.md"
repository: Eco-Tech/GLM-5.3-w4a4c8-mxfp4
last_updated: 2026-10-14
license: "MIT License"
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - glm_moe_dsa
architectures:
  - GlmMoeDsaForCausalLM
base_model:
  - ZhipuAI/GLM-5.3-BF16
base_model_relation: quantized
parameters: 411.5B
tensor_type:
  - F32
  - BF16
  - F8_E4M3
  - U8
library_name:
  - safetensors
  - pytorch
frameworks:
  - PyTorch
downloads: 411
stars: 4
---

# GLM-5.3-w4a4c8-mxfp4

> GLM-5.3-w4a4c8-mxfp4 - Eco-Tech 在 ModelScope 开源的模型。GLM-5.3-w4a4c8-mxfp4 量化模型

Eco-Tech/GLM-5.3-w4a4c8-mxfp4 是 ModelScope 魔搭社区上的 411.5B 参数text-generation模型，采用 MIT License 许可，基于 ZhipuAI/GLM-5.3-BF16 构建。

- **Repository**: Eco-Tech/GLM-5.3-w4a4c8-mxfp4
- **License**: MIT License
- **Tasks**: text-generation
- **Parameters**: 411.5B
- **Base model**: ZhipuAI/GLM-5.3-BF16
- **Downloads**: 411
- **Stars**: 4
- **Last updated**: 2026-10-14

Source: https://www.modelscope.cn/models/Eco-Tech/GLM-5.3-w4a4c8-mxfp4

---

# GLM-5.3-w4a4c8-mxfp4 量化模型

## 1. 基本信息

| 项目 | 信息 |
|------|------|
| 原始模型名 | GLM-5.3（BF16，`GlmMoeDsaForCausalLM`：78 层主模型 + 1 MTP 层，其中 22 层为 DSA 稀疏注意力层；MoE 256 专家 top-8，hidden_size 6144，前 3 层 dense） |
| 原始模型链接 | https://www.modelscope.cn/models/ZhipuAI/GLM-5.3-BF16 |
| 量化工具 | msModelSlim |
| 量化配置 | `lab_practice/glm_5_2/glm_5_3_w4a4c8_mxfp4.yaml` |
| 量化方案说明 | https://gitcode.com/Ascend/msmodelslim/pull/1007 |
| 落盘格式 | AscendV1（safetensors，单分片 4 GB） |
| 测试机型 | Atlas A3 系列（Atlas_350） |
| 验证环境 | vLLM-Ascend |

## 2. 量化方案

### 2.1 量化配置

| 项 | 配置 |
|----|------|
| MoE 专家（`*mlp.experts.*`） | W4A4 MXFP4，weight/act 均 per_block（group_size=32），symmetric minmax |
| self_attn / mlp 非 experts | W8A8 MXFP8，weight/act 均 per_block（group_size=32），symmetric minmax |
| DSA 层 indexer | FP8_E4M3，per_token（动态） |
| KV Cache | INT8（C8，部署侧使能） |
| 量化类型 | `W4A4C8`（`model_quant_type: W4A4_MXFP4`） |
| 旋转 | QuaRot（`is_rot_used=true`，`rot.safetensors` + `optional/quarot.safetensors` 随产物发布） |

### 2.2 量化流程（spec.process）

```
quarot → flex_smooth_quant(norm-linear / ov) → fa3_quant(indexer, fp8_e4m3 / per_token)
       → fa3_quant(knope, mxfp8 / per_block) → linear_quant ×3
```

- **QuaRot 正交旋转**：对权重左旋、激活右旋（W′ = QᵀW，X′ = XQ，QᵀQ = I，计算严格等价），将集中在少数通道的激活离群值分散到多通道，为低比特量化提供平滑分布；
- **Flex SmoothQuant**：在 norm-linear / ov 子图上引入互逆缩放（X′ = X/s，W′ = W·s），将激活幅度等价迁移到权重侧；
- **fa3_quant**：DSA 层 `indexer` 用 FP8_E4M3 per_token，`knope` 投影用 MXFP8 per_block；
- **linear_quant**：`*self_attn*`（排除保护对象）与 `*mlp*`（非 experts）走 MXFP8，`*mlp.experts.*` 走 MXFP4。

### 2.3 分层量化范围（实测 desc 统计）

| 处理对象 | 量化类型 | tensor 条目 |
|---------|---------|------------|
| `*mlp.experts.*`（MoE 专家，76 层 × 256 专家） | `W4A4_MXFP4`（weight U8 4bit 打包 + weight_scale U8，g32） | 116,737 |
| `*self_attn*`（排除 `*kv_b_proj`、`*wk`、`*weights_proj`）+ `*mlp*` 非 experts + `knope` | `W8A8_MXFP8`（weight F8_E4M3 + weight_scale U8，g32） | 1,150 |
| indexer（16 个 DSA 层，动态激活） | `FP8_DYNAMIC` | 16 层 |
| KV Cache | `INT8_DYNAMIC` | 1 |
| 保护对象 | `FLOAT`（F32/BF16） | 644 |

### 2.4 保护对象（保留高精度）

- `gate`（MoE 路由）：保证专家路由稳定；
- `kv_b_proj`、indexer 的 `wk` / `weights_proj`：避免长序列检索精度劣化；
- 首尾敏感层：`model.layers.{0,1,2,70,74,75,76,77,78}` 整层排除（含 MTP 层 78 的 indexer）；
- embedding / lm_head / 各类 norm / `e_score_correction_bias`：保留浮点。

### 2.5 校准与落盘

- 校准数据：`qwen3_cot_w4a4.json`（与配置同目录自动匹配）；
- 保存方式：`ascendv1_saver`，`part_file_size: 4`（GB），共 104 分片；`quant_model_description.json` 记录逐 tensor 量化类型，供部署侧加载。

## 3. 产物实测校验

| 校验项 | 结果 |
|-------|------|
| 文件构成 | 117 文件 / 389.6 GiB（104 分片 + index + description + rot + optional/quarot + tokenizer/config + README + .gitattributes） |
| tensor 总数 | 118,531（index）+ QuaRot 旋转矩阵 1 + optional/quarot 1 |
| 量化参数组 | 58,943 组 `weight` + `weight_scale` 全配对无缺失（MXFP4 58,368 组 U8/U8 + MXFP8 575 组 F8_E4M3/U8），group_size=32 的 shape 关系全部成立 |
| dtype 分布 | U8 117,311 / F8_E4M3 575 / F32 439 / BF16 207 |
| total_size 配平 | 分片合计 418,541,953,024 B + rot 75,497,472 B + quarot 150,994,944 B = 418,768,445,440 B，与逐文件实算精确一致 |
| 与 BF16 原始权重对比 | 59,585 个 tensor 全覆盖（同名 + 406 统一重命名），逐层核对无缺失 |
| safetensors 结构 | 106 个权重文件逐文件 header / data_offsets / 文件大小校验通过，无截断、无损坏 |
| 发布校验 | 上传后远端与本地逐文件 SHA256 完全一致（117/117） |

> **tensor 重命名说明**：量化工具链对部分 tensor 做了统一重命名（如 `hc_attn_base/fn/scale` → `attn_hc.base/fn/scale`、`self_attn.A_log` → `self_attn.forget_gate.A_log` 等，共 406 个），属预期行为，部署框架按新命名加载。

## 4. 量化复现

### 4.1 安装 msModelSlim

```bash
git clone https://gitcode.com/Ascend/msmodelslim.git
cd msmodelslim
bash install.sh
```

### 4.2 一键量化（自动匹配 `glm_5_3_w4a4c8_mxfp4` 配置）

```bash
msmodelslim quant \
  --model_path ${MODEL_PATH} \
  --save_path ${SAVE_PATH} \
  --device npu \
  --model_type GLM-5.3 \
  --quant_type w4a4c8 \
  --trust_remote_code true \
  --tags vLLM_Ascend Atlas_350
```

- `${MODEL_PATH}`：GLM-5.3 BF16 权重路径；`${SAVE_PATH}`：量化产物保存路径；
- 校准数据 `qwen3_cot_w4a4.json` 由配置自动匹配，无需手动指定。

## 5. 部署

（待补充）

## 6. 注意事项

- `gate`、`kv_b_proj`、indexer 的 `wk` / `weights_proj` 及首尾敏感层为保护对象，请勿在自定义配置中将其纳入量化范围；
- 如自定义量化层范围（include/exclude），平滑参数与量化器、位宽强耦合，调整后建议重新执行参数搜索；
- KV Cache INT8（C8）由 vLLM-Ascend 部署侧使能，无需额外量化配置。