---
title: GLM-5.3-W8A8C8-mxfp8
canonical_url: "https://www.modelscope.cn/models/Eco-Tech/GLM-5.3-W8A8C8-mxfp8"
md_url: "https://www.modelscope.cn/models/Eco-Tech/GLM-5.3-W8A8C8-mxfp8.md"
repository: Eco-Tech/GLM-5.3-W8A8C8-mxfp8
last_updated: 2026-11-14
license: "MIT License"
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - glm_moe_dsa
architectures:
  - GlmMoeDsaForCausalLM
base_model:
  - ZhipuAI/GLM-5.3
base_model_relation: quantized
parameters: 778.7B
tensor_type:
  - F8_E4M3
  - BF16
  - F32
  - U8
library_name:
  - safetensors
  - pytorch
frameworks:
  - PyTorch
downloads: 511
stars: 1
---

# GLM-5.3-W8A8C8-mxfp8

> GLM-5.3-W8A8C8-mxfp8 - Eco-Tech 在 ModelScope 开源的模型。GLM-5.3-W8A8C8-mxfp8 量化模型

Eco-Tech/GLM-5.3-W8A8C8-mxfp8 是 ModelScope 魔搭社区上的 778.7B 参数text-generation模型，采用 MIT License 许可，基于 ZhipuAI/GLM-5.3 构建。

- **Repository**: Eco-Tech/GLM-5.3-W8A8C8-mxfp8
- **License**: MIT License
- **Tasks**: text-generation
- **Parameters**: 778.7B
- **Base model**: ZhipuAI/GLM-5.3
- **Downloads**: 511
- **Stars**: 1
- **Last updated**: 2026-11-14

Source: https://www.modelscope.cn/models/Eco-Tech/GLM-5.3-W8A8C8-mxfp8

---

# GLM-5.3-W8A8C8-mxfp8 量化模型

## 1. 基本信息

| 项目 | 信息 |
|------|------|
| 原始模型名 | GLM-5.3（原生 FP8） |
| 原始模型链接 | https://www.modelscope.cn/models/ZhipuAI/GLM-5.3 |
| 量化工具 | msModelSlim |
| 量化配置 | `lab_practice/glm_5_2/glm_5_3_w8a8c8_mxfp8.yaml`（GLM-5.3 配置位于 `glm_5_2` 目录） |
| 量化方案说明 | https://gitcode.com/Ascend/msmodelslim/pull/917 |
| 落盘格式 | AscendV1（safetensors，单分片 4 GB） |
| 测试机型 | Atlas 350 |
| 验证环境 | vLLM-Ascend |

## 2. 本次更新说明

本仓库为**首次发布**（2026-09-26）：193 个分片（约 4 GB/片），共 732.06 GiB。

- 采用 PR [#917](https://gitcode.com/Ascend/msmodelslim/pull/917)（2026-09-10 合入）引入的 **`glm_5_3_w8a8c8_mxfp8`** 配置量化，量化格式为 **W8A8C8 MXFP8**（带 KV Cache 量化）；
- 注意区分同目录下的 `glm_5_3_w8a8_mxfp8.yaml`（`kv_cache: False`，无 fa3_quant 两段、无 C8），本仓库产物为带 C8 的 `w8a8c8_mxfp8` 一支；
- 量化流程、量化范围与 GLM-5.2-W8A8C8-mxfp8 完全一致（两模型架构相同，两仓库 `quant_model_description.json` 逐字节一致）。

## 3. 量化方案

### 3.1 量化配置

| 项 | 配置 |
|----|------|
| 权重 | MXFP8，per_block（32），对称 minmax |
| 激活 | MXFP8，per_block（32），对称 minmax，动态 |
| Indexer q/k（稀疏索引） | FP8_E4M3，per_token，对称 |
| KV Cache（C8） | MXFP8，per-tile（128），对称；量化阶段对 knope 通路逐 tile 模拟并登记量化类型，部署时由推理框架执行 |
| 量化类型 | `W8A8_MXFP8`（58,943 组两件套：weight + weight_scale） |

### 3.2 量化范围

| 处理对象 | include | exclude | 精度 |
|---------|---------|---------|------|
| MLP（dense / 共享专家 / MoE 专家） | `*mlp*` | `*gate` | W8A8 MXFP8 |
| 注意力与索引投影（全 79 层，含 MTP 层 78） | `*self_attn*` | `*kv_b_proj`、`*wk`、`*weights_proj` | W8A8 MXFP8（含 `o_proj`、`q_a_proj`、`q_b_proj`、`kv_a_proj_with_mqa`、22 个 full-indexer 层的 `indexer.wq_b`） |
| Indexer q/k（稀疏索引） | `*indexer*`（第 6/10/…/66 层，共 16 层） | 第 0/1/2/70/74/78 层 | FP8_E4M3 per_token |
| KV Cache（knope 压缩通路） | `*self_attn*`（第 3~73 层，共 71 层） | `*indexer*`、第 0/1/2/74–78 层 | MXFP8 per-tile |

### 3.3 保留高精度的模块（保护对象）

- `gate`（MoE 路由，含 `e_score_correction_bias`）：保证专家路由稳定；
- `kv_b_proj`（MLA 值投影）、`indexer.wk` / `indexer.weights_proj` / `indexer.k_norm`：避免长序列检索精度劣化；
- embedding / lm_head / 各类 norm / MTP head：保留浮点。

实测 `quant_model_description.json` 中 644 个 tensor 为 `FLOAT`（其中 `kv_b_proj`、`gate`、`indexer.wk`、`indexer.weights_proj` 等以 BF16 存储，norm、lm_head 以 F32 存储），另有 71 个 knope 层 `MXFP8_DYNAMIC` 标记、16 个 indexer 层 `FP8_DYNAMIC` 标记与 1 个模型级 `indexer_quant_type`（INT8_DYNAMIC）标记。

### 3.4 处理流水

```
quarot → flex_smooth_quant(norm-linear + ov) → fa3_quant(indexer, FP8_E4M3) → fa3_quant(knope, MXFP8, KV Cache)
→ linear_quant(self_attn, MXFP8 per_block) → linear_quant(mlp, MXFP8 per_block)
```

- **QuaRot 正交旋转**：将集中在少数通道的激活离群值分散到多通道，为 MXFP8 量化提供平滑分布；旋转矩阵随产物发布（`rot.safetensors`、`optional/quarot.safetensors`）；
- **Flex SmoothQuant**：在 norm-linear / ov 子图上引入互逆缩放，将激活幅度等价迁移到权重侧；
- **fa3_quant**：indexer q/k 量化（FP8_E4M3 per_token）与 knope KV Cache 压缩通路量化登记（MXFP8 per-tile，部署侧执行）；
- **Linear Quant**：MXFP8 per_block（32）minmax 对称量化。

### 3.5 落盘

以 `ascendv1_saver` 保存，单分片 4 GB（`part_file_size: 4`），共 193 片；`quant_model_description.json` 记录逐 tensor 量化类型（`group_size: 32`），供部署侧加载。

## 4. 产物实测校验

| 校验项 | 结果 |
|-------|------|
| 文件构成 | 204 文件 / 732.06 GiB（193 分片 + index + description + 2 个旋转矩阵文件 + tokenizer/config 等） |
| 量化描述条目 | 118,619（`W8A8_MXFP8` 117,887 + `FLOAT` 644 + `MXFP8_DYNAMIC` 标记 71 + `FP8_DYNAMIC` 标记 16 + `INT8_DYNAMIC` 标记 1） |
| 量化参数组 | 58,943 组，均为两件套（`weight` U8 + `weight_scale` F8_E4M3，per_block 32） |
| 分片 dtype 分布 | U8 58,943 / F8_E4M3 58,943 / F32 438 / BF16 206，逐分片 safetensors header 解析通过（193/193） |
| 跨仓库一致性 | 与 GLM-5.2-W8A8C8-mxfp8 的 `quant_model_description.json` 逐字节一致（MD5 相同），量化映射仅由架构决定 |

## 5. 量化复现

### 5.1 安装 msModelSlim

```bash
git clone https://gitcode.com/Ascend/msmodelslim.git
cd msmodelslim
bash install.sh
# GLM-5.3 需指定 transformers 版本
pip install transformers==5.15.0
```

### 5.2 执行量化（8 卡 NPU）

```bash
msmodelslim quant \
  --model_path ${MODEL_PATH} \
  --save_path ${SAVE_PATH} \
  --device npu \
  --device_id 0 1 2 3 4 5 6 7 \
  --model_type GLM-5.3 \
  --quant_type w8a8c8 \
  --tags Atlas_350 \
  --trust_remote_code true
```

- `${MODEL_PATH}`：GLM-5.3 权重路径（原生 FP8 或 BF16 均可，工具链内部统一转为 BF16 处理，FP8 → BF16 → MXFP8）；`${SAVE_PATH}`：量化产物保存路径；
- 校准数据 `mix_calib.jsonl` 由配置自动匹配（与配置同目录），无需手动指定；
- `--tags Atlas_350` 用于命中 `glm_5_3_w8a8c8_mxfp8.yaml`（该配置仅在 Atlas_350 场景验证）；注意**不要**写成 `--quant_type mxfp8`（不存在该枚举），MXFP8 由 tags 匹配的配置决定；
- 也可显式 `--config ${CONFIG_PATH}/glm_5_2/glm_5_3_w8a8c8_mxfp8.yaml`，效果等价。

## 6. 部署

（待补充）

## 7. 精度测试结果

| 模型名 | 量化格式 | 数据集 | 测试精度 (%) |
|:------:|:------:|:------:|:------:|
| GLM-5.3 | W8A8C8 MXFP8 | （待补充） | （待补充） |

## 8. 注意事项

- `gate`、`kv_b_proj`、`indexer.wk`/`weights_proj`/`k_norm`、embedding / lm_head / norm 为保护对象，请勿在自定义配置中将其纳入量化范围；
- 本仓库为 **W8A8C8 MXFP8**（带 KV Cache 量化），请与无 C8 的 `glm_5_3_w8a8_mxfp8.yaml` 区分，两者产物不通用；
- indexer q/k 为 FP8_E4M3 per_token 量化（非 MXFP8），属预期设计；
- 如自定义量化层范围（include/exclude），平滑参数与量化器、位宽强耦合，调整后建议重新执行参数搜索；
- W8A8C8 的 KV Cache 量化由配置中的 knope `fa3_quant` 在量化阶段逐 tile（128）模拟并登记量化类型，实际按块量化由 vLLM-Ascend 等部署侧执行；
- GLM-5.3 原始模型权重为其发布仓库的自有许可协议，商用请遵循 ZhipuAI/GLM-5.3 仓库的 LICENSE 条款。
