---
title: GLM-5.3-w8a8c8
canonical_url: "https://www.modelscope.cn/models/Eco-Tech/GLM-5.3-w8a8c8"
md_url: "https://www.modelscope.cn/models/Eco-Tech/GLM-5.3-w8a8c8.md"
repository: Eco-Tech/GLM-5.3-w8a8c8
last_updated: 2026-11-14
license: "MIT License"
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - glm_moe_dsa
architectures:
  - GlmMoeDsaForCausalLM
base_model:
  - ZhipuAI/GLM-5.3
base_model_relation: quantized
parameters: 755.7B
tensor_type:
  - F32
  - I8
  - BF16
library_name:
  - safetensors
  - pytorch
frameworks:
  - PyTorch
downloads: 2450
stars: 13
---

# GLM-5.3-w8a8c8

> GLM-5.3-w8a8c8 - Eco-Tech 在 ModelScope 开源的模型。| 项目 | 信息 | |------|------| | 原始模型名 | GLM-5.3（原生 FP8） | | 原始模型链接 | https://www.modelscope.cn/models/ZhipuAI/GLM-5.3 | | 量化工具 | msModelSlim | | 量化配置 | labpractice/glm52/glm53w8a8c8.yaml（GLM-5.3 配置位于 glm52 目录） | |…

Eco-Tech/GLM-5.3-w8a8c8 是 ModelScope 魔搭社区上的 755.7B 参数text-generation模型，采用 MIT License 许可，基于 ZhipuAI/GLM-5.3 构建。

- **Repository**: Eco-Tech/GLM-5.3-w8a8c8
- **License**: MIT License
- **Tasks**: text-generation
- **Parameters**: 755.7B
- **Base model**: ZhipuAI/GLM-5.3
- **Downloads**: 2450
- **Stars**: 13
- **Last updated**: 2026-11-14

Source: https://www.modelscope.cn/models/Eco-Tech/GLM-5.3-w8a8c8

---

# GLM-5.3-W8A8C8 量化模型

## 1. 基本信息

| 项目 | 信息 |
|------|------|
| 原始模型名 | GLM-5.3（原生 FP8） |
| 原始模型链接 | https://www.modelscope.cn/models/ZhipuAI/GLM-5.3 |
| 量化工具 | msModelSlim |
| 量化配置 | `lab_practice/glm_5_2/glm_5_3_w8a8c8.yaml`（GLM-5.3 配置位于 `glm_5_2` 目录） |
| 量化方案说明 | https://gitcode.com/Ascend/msmodelslim/pull/917 |
| 落盘格式 | AscendV1（safetensors，单分片 4 GB） |
| 测试机型 | Atlas A2 / A3 系列 |
| 验证环境 | vLLM-Ascend |

## 2. 本次更新说明

2026-09-25 全量替换权重：185 个分片（约 4 GB/片）全部重新生成，共 711.75 GiB。与首发版（2026-08-31）对比：

**更新原因**：首发版（08-31 02:27 上传）量化导出于 msModelSlim 多卡分布式保存缺陷（[Issue #492](https://gitcode.com/Ascend/msmodelslim/issues/492)，修复 PR [!879](https://gitcode.com/Ascend/msmodelslim/pull/879)，2026-08-31 10:36 合入）的影响期内（首发早于修复约 8 小时）：8 卡并行导出的 `quant_model_description.json` 顶层 `optional` 字段被 rank 合并逻辑清空，缺失 QuaRot 旋转矩阵声明（首发版实际症状：`optional` 为空 `{}`，但 `optional/quarot.safetensors` 已随包发布且 `is_rot_used=true`），部署侧无法通过描述文件定位全局旋转矩阵。本次使用修复后工具链重新导出，补登 `optional.quarot.rotation_map`：

- 量化配置（`glm_5_3_w8a8c8.yaml`，PR [#917](https://gitcode.com/Ascend/msmodelslim/pull/917)）、量化范围与逐 tensor 量化类型**完全一致**：`quant_model_description.json` 177,562 个条目逐一比对无差异；`GLM-5.3_best_practice.yaml`、`config.json` 与首发版逐字节相同；
- 权重数值与首发版一致（同一量化结果重新落盘）：抽样张量（含 INT8 `weight`、`weight_scale`、norm）新旧字节级相同；`rot.safetensors` 差异为同一旋转矩阵重计算的舍入级噪声（约 0.1% 元素、1~3 ulp），旋转矩阵本身未变（`optional/quarot.safetensors` 新旧字节级一致）；权重分片由 181 片重新打包为 185 片（旧分片已清理，请勿混用）；
- `chat_template.jinja` 更新（模板 bugfix），新增 `configuration.json`；`tokenizer.json`、`tokenizer_config.json`、`generation_config.json`、`config.json`、`GLM-5.3_best_practice.yaml`、`optional/quarot.safetensors` 6 个配套文件沿用首发版，新旧 SHA256 逐字节一致（6/6）。

## 3. 量化方案

### 3.1 量化配置

| 项 | 配置 |
|----|------|
| 权重 | INT8，per_channel，对称 minmax |
| 激活 | INT8，per_token，对称 minmax，动态（逐 token 计算 scale，无需离线固定） |
| KV Cache（C8） | INT8，per-tile（128），对称；量化阶段对 knope 通路逐 tile 模拟并登记量化类型，部署时由推理框架执行 |
| 量化类型 | `W8A8_DYNAMIC`（全部 58,943 组均为动态三件套） |

### 3.2 量化范围

| 处理对象 | include | exclude | 精度 |
|---------|---------|---------|------|
| MLP（dense / 共享专家 / MoE 专家） | `*mlp*` | `*gate` | W8A8 INT8 动态 |
| 注意力与索引投影（全 79 层，含 MTP 层 78） | `*self_attn*` | `*kv_b_proj`、`indexer.wk`、`indexer.weights_proj` | W8A8 INT8 动态（含 `o_proj`、`q_a_proj`、`q_b_proj`、`kv_a_proj_with_mqa`、22 个 full-indexer 层的 `indexer.wq_b`） |
| KV Cache（knope 压缩通路） | `*self_attn*`（第 3~73 层，共 71 层） | `*indexer*`、第 0/1/2/74–78 层 | INT8 per-tile |
| Indexer q/k（稀疏索引） | `*indexer*`（第 6/10/…/66 层，共 16 层） | 第 0/1/2/70/74/78 层 | INT8 per_token |

### 3.3 保留高精度的模块（保护对象）

- `gate`（MoE 路由，含 `e_score_correction_bias`）：保证专家路由稳定；
- `kv_b_proj`（MLA 值投影）、`indexer.wk` / `indexer.weights_proj` / `indexer.k_norm`：避免长序列检索精度劣化；
- embedding / lm_head / 各类 norm / MTP head：保留浮点。

实测 `quant_model_description.json` 中 644 个 tensor 为 `FLOAT`（其中 `kv_b_proj`、`gate`、`indexer.wk`、`indexer.weights_proj` 等以 BF16 存储，norm、lm_head 以 F32 存储），另有 87 个层级 INT8 量化类型标记（71 个 knope 层 + 16 个 indexer 层）与 1 个模型级 `indexer_quant_type` 标记。

### 3.4 处理流水

```
quarot → flex_smooth_quant(norm-linear + ov) → fa3_quant(indexer) → fa3_quant(knope, KV Cache)
→ linear_quant(self_attn, per_token 动态) → linear_quant(mlp, per_token 动态)
```

- **QuaRot 正交旋转**：将集中在少数通道的激活离群值分散到多通道，为 INT8 量化提供平滑分布；旋转矩阵随产物发布（`rot.safetensors`、`optional/quarot.safetensors`）；
- **Flex SmoothQuant**：在 norm-linear / ov 子图上引入互逆缩放，将激活幅度等价迁移到权重侧；
- **fa3_quant**：对 indexer q/k 与 knope KV Cache 压缩通路做量化登记（部署侧执行）；
- **Linear Quant**：minmax 线性量化（权重 per_channel、激活 per_token 动态，全动态方案）。

### 3.5 落盘

以 `ascendv1_saver` 保存，单分片 4 GB（`part_file_size: 4`），共 185 片；`quant_model_description.json` 记录逐 tensor 量化类型，供部署侧加载。

## 4. 产物实测校验

| 校验项 | 结果 |
|-------|------|
| 文件构成 | 196 文件 / 711.75 GiB（185 分片 + index + description + 2 个旋转矩阵文件 + tokenizer/config 等） |
| 量化描述条目 | 177,562（`W8A8_DYNAMIC` 176,830 + `FLOAT` 644 + INT8 量化标记 88） |
| 量化参数组 | 58,943 组，均为三件套（`weight` INT8 + `weight_scale` F32 + `weight_offset` F32，全动态 per_token） |
| 分片 dtype 分布 | I8 58,943 / F32 118,324 / BF16 206，逐分片 safetensors header 解析通过（185/185） |
| 新旧版本一致性 | 量化类型映射逐 entry 比对一致（177,562/177,562）；6 个沿用配套文件 SHA256 一致（6/6） |

> **与 GLM-5.2-W8A8C8 的区别**：两者架构相同，但本仓库全部 58,943 组均为动态 per_token 对称量化（三件套）；GLM-5.2 版 self_attn 的 338 组为静态 per_tensor 非对称量化（五件套）。本仓库原始模型为原生 FP8 权重。

## 5. 量化复现

### 5.1 安装 msModelSlim

```bash
git clone https://gitcode.com/Ascend/msmodelslim.git
cd msmodelslim
bash install.sh
# GLM-5.3 需指定 transformers 版本
pip install transformers==5.15.0
```

### 5.2 执行量化（8 卡 NPU）

```bash
msmodelslim quant \
  --model_path ${MODEL_PATH} \
  --save_path ${SAVE_PATH} \
  --device npu \
  --device_id 0 1 2 3 4 5 6 7 \
  --model_type GLM-5.3 \
  --quant_type w8a8c8 \
  --trust_remote_code true
```

- `${MODEL_PATH}`：GLM-5.3 权重路径（原生 FP8 或 BF16 均可，工具链内部统一转为 BF16 处理，FP8 → BF16 → INT8）；`${SAVE_PATH}`：量化产物保存路径；
- 校准数据 `mix_calib.jsonl` 由配置自动匹配（与配置同目录），无需手动指定；
- 该命令经 `verified_tags` 自动匹配 `glm_5_3_w8a8c8.yaml`；也可显式 `--config ${CONFIG_PATH}/glm_5_2/glm_5_3_w8a8c8.yaml`，效果等价。

## 6. 部署

（待补充）

## 7. 精度测试结果

| 模型名 | 量化格式 | 数据集 | 测试精度 (%) |
|:------:|:------:|:------:|:------:|
| GLM-5.3 | W8A8C8 | （待补充） | （待补充） |

## 8. 注意事项

- `gate`、`kv_b_proj`、`indexer.wk`/`weights_proj`/`k_norm`、embedding / lm_head / norm 为保护对象，请勿在自定义配置中将其纳入量化范围；
- 如自定义量化层范围（include/exclude），平滑参数与量化器、位宽强耦合，调整后建议重新执行参数搜索；
- W8A8C8 的 KV Cache 量化由配置中的 knope `fa3_quant` 在量化阶段逐 tile（128）模拟并登记量化类型，实际按块量化由 vLLM-Ascend 等部署侧执行；
- 2026-09-25 更新后旧分片（181 片）已删除，请勿混用新旧分片；
- GLM-5.3 原始模型权重为其发布仓库的自有许可协议，商用请遵循 ZhipuAI/GLM-5.3 仓库的 LICENSE 条款。
