---
title: GLM-5.2-W4AFP8
canonical_url: "https://www.modelscope.cn/models/PhalaCloud/GLM-5.2-W4AFP8"
md_url: "https://www.modelscope.cn/models/PhalaCloud/GLM-5.2-W4AFP8.md"
repository: PhalaCloud/GLM-5.2-W4AFP8
chinese_name: "GLM-5.2 W4AFP8 量化"
last_updated: 2026-07-21
license: mit
model_type:
  - deepseek_v3
architectures:
  - GlmMoeDsaForCausalLM
base_model:
  - zai-org/GLM-5.2-FP8
base_model_relation: quantized
parameters: 391.9B
tensor_type:
  - F32
  - F8_E4M3
  - BF16
  - I8
library_name:
  - safetensors
language:
  - zh
  - en
downloads: 4006
stars: 7
tags:
  - glm
  - glm_moe_dsa
  - mixture-of-experts
  - w4afp8
  - int4
  - fp8
  - quantized
  - reasoning
  - tool-calling
  - sglang
---

# GLM-5.2-W4AFP8

> GLM-5.2-W4AFP8 - PhalaCloud 在 ModelScope 开源的模型。GLM-5.2 的 W4AFP8 量化版本（MoE 专家 INT4，其余 FP8）：单个 8×H200 节点即可服务完整 1M token 上下文，基准测试质量无可测量损失，SGLang 原生支持（--quantization w4afp8）。英文文档见 HuggingFace 同名仓库。

PhalaCloud/GLM-5.2-W4AFP8 是 ModelScope 魔搭社区上的 391.9B 参数机器学习模型，采用 mit 许可，基于 zai-org/GLM-5.2-FP8 构建。

- **Repository**: PhalaCloud/GLM-5.2-W4AFP8
- **License**: mit
- **Parameters**: 391.9B
- **Base model**: zai-org/GLM-5.2-FP8
- **Tags**: glm, glm_moe_dsa, mixture-of-experts, w4afp8, int4, fp8, quantized, reasoning, tool-calling, sglang
- **Downloads**: 4006
- **Stars**: 7
- **Last updated**: 2026-07-21

Source: https://www.modelscope.cn/models/PhalaCloud/GLM-5.2-W4AFP8

---

# GLM-5.2-W4AFP8

英文文档（English documentation）：[HuggingFace model card](https://huggingface.co/PhalaCloud/GLM-5.2-W4AFP8)

---

GLM-5.2-W4AFP8 是 [GLM-5.2](https://huggingface.co/zai-org/GLM-5.2-FP8) 的 4-bit 量化版本，可在**单个 8×H200 节点**上运行完整的 100 万（1M）token 上下文。

它的两个关键价值：

- **完整 1M 上下文在单节点内即可容纳。** 将混合专家（MoE）权重量化到 4-bit，把这部分显存占用从 755 GB 压缩到 368 GB，从而腾出足够显存装下完整的 1M token KV 缓存。相同硬件上，FP8 版本只能达到约 50 万 token。
- **质量无可测量损失。** 推理、指令遵循、长上下文与工具调用等基准测试结果，均落在 FP8 模型的测量噪声范围之内。

> [!NOTE]
> 本模型保留了 GLM-5.2 完整的 753B 参数。侧边栏显示的约 387B 是一个计数上的假象：每个 int8 存储槽里塞了两个 4-bit 权重，因此元数据统计的是存储槽数量，而非参数量。

**仅在 SGLang 上测试过**（[v0.5.13.post1](https://github.com/sgl-project/sglang)）。这套 4-bit 布局与投机解码路径是 SGLang 专用的，尚未在 vLLM 或其他推理引擎上验证。

## 基准测试

在 8×H200 上使用 SGLang，按 GLM-5.2 推荐的采样参数（temperature 1.0、top_p 0.95）并开启推理（reasoning）测得。参考列为 GLM-5.2 官方公布的结果。

| 基准 | GLM-5.2-W4AFP8 | GLM-5.2 参考值 |
|---|---|---|
| GPQA-Diamond（推理） | 90.9 | 91.2 |
| IFBench（指令遵循，严格） | 75.0 | 74.3 |
| AA-LCR（长上下文推理） | 76.0 | 69.7 |
| 大海捞针 @ ~983K token | 3 / 3 命中 | 未公布 |
| BFCL（工具调用） | 与 FP8 基线持平 | 未公布 |

推理（GPQA）和指令遵循（IFBench）在评测容差范围内与官方结果一致。GLM-5.2 未公布 BFCL 与大海捞针的参考值，因此这两项与 FP8 版本对比：工具调用持平（整体 84% vs 87%，处于采样噪声内），大海捞针在接近 1M token 的三个深度上全部命中。

## 性能（8×H200，单节点）

模型内置了量化后的多 token 预测（MTP）层，因此 SGLang 的 EAGLE 投机解码开箱即用。

| 场景 | 无投机解码 | EAGLE（MTP） |
|---|---|---|
| 单流解码 | 75 tok/s | 118 tok/s |
| 吞吐（8K 输入，1K 输出，16 并发） | 658 tok/s | 733 tok/s |

## 部署

环境要求：Hopper 架构 GPU（H100 或 H200，SM90），以及 SGLang v0.5.13.post1 或更高版本。

```bash
python -m sglang.launch_server \
  --model-path PhalaCloud/GLM-5.2-W4AFP8 \
  --quantization w4afp8 \
  --disable-shared-experts-fusion \
  --tp 8 \
  --kv-cache-dtype fp8_e4m3 \
  --reasoning-parser glm45 \
  --tool-call-parser glm47 \
  --context-length 1048576 \
  --mem-fraction-static 0.85 \
  --trust-remote-code
```

在 8×H200（1128 GB）上，这套配置可服务完整的 1M token 上下文。在 8×H100（640 GB）上，权重依然装得下，并可留出约 40 万 token 的空间；而 FP8 版本在 8×H100 上完全装不下。

要启用投机解码（即 118 tok/s 的单流路径），再加上：

```bash
  --speculative-algorithm EAGLE \
  --speculative-num-steps 1 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 2
```

服务端暴露标准的 OpenAI 兼容 API：对话补全（chat completions）、工具调用和推理内容（reasoning content）。

### 采样默认值

`generation_config.json` 已于 2026-07-07 添加，包含 GLM-5.2 推荐的采样默认值（temperature 1.0、top_p 0.95），与基础模型一致。在此日期之前拉取模型的部署请重新下载该文件，或在请求中显式设置 `top_p=0.95`：不做 top-p 截断可能导致思考（thinking）模式下偶发的重复循环（参见 [sgl-project/sglang#29512](https://github.com/sgl-project/sglang/issues/29512)）。

## 量化方式

路由的 MoE 专家使用 4-bit 整数权重（group size 128）配合 FP8（E4M3）激活。稠密层、共享专家、注意力、稀疏注意力索引器，以及 MTP 层的非专家权重保持 FP8 或 BF16。激活在运行时量化。这正是 SGLang `w4afp8` 路径所加载的布局。权重量化采用了激活感知缩放（AWQ）配合一小段校准集。

## 局限性

- 仅在 SGLang 上测试。vLLM 及其他引擎未经验证。
- 需要 Hopper（SM90）GPU。
- 继承基座模型 GLM-5.2 的能力与局限。

## 许可证

MIT，继承自 [GLM-5.2](https://huggingface.co/zai-org/GLM-5.2)。请引用原始 GLM-5.2 工作（引用信息见下方原始模型卡）。

---

# 原始模型卡（官方）

> 以下内容摘自基座模型官方仓库 [zai-org/GLM-5](https://github.com/zai-org/GLM-5) 的 `README_zh.md`，未作改动。英文原版模型卡见 [zai-org/GLM-5.2-FP8](https://huggingface.co/zai-org/GLM-5.2-FP8)。

## 简介

GLM-5.2，面向长程任务的最新旗舰模型。相比前代 GLM-5.1，它在长周期任务能力上实现了重大飞跃，并且首次在**稳定的 100 万 token 上下文**上交付这一能力。

GLM-5.2 的新能力包括：
- **稳定的 100 万上下文：** 提供稳定的 100 万 token 上下文，可持续支撑长周期工作
- **支持弹性思考力度的高级编码**：更强的编码能力，并提供多档思考力度（thinking effort），以平衡性能与延迟
- **改进的架构**：我们提出了 [IndexShare](https://arxiv.org/abs/2603.12201)，在每四个稀疏注意力层之间复用同一个索引器，在 100 万上下文长度下将每 token 的 FLOPs 降低 2.9 倍。我们还改进了 GLM-5.2 用于推测解码的 MTP 层，将接受长度提升最多 20%。

![bench_52](https://raw.githubusercontent.com/zai-org/GLM-5/refs/heads/main/resources/bench_52.png)

在标准编码基准测试中，GLM-5.2 是最强的开源模型，相比 GLM-5.1 大幅领先：在 Terminal-Bench 2.1 上为 81.0 对 62.0，在 SWE-bench Pro 上为 62.1 对 58.4。它还大幅缩小了与闭源前沿模型的差距——在 Terminal-Bench 2.1（81.0）上，与 Claude Opus 4.8（85.0）仅相差几分——同时保持领先于 Gemini 3.1 Pro。

更多细节，请查看我们的[博客](https://z.ai/blog/glm-5.2)。

## 本地部署 GLM-5 系列模型

GLM-5.2 支持使用以下多种框架部署，欢迎尝试：

- [SGLang](https://github.com/sgl-project/sglang) (v0.5.13.post1+) — 参见 [cookbook](https://cookbook.sglang.io/autoregressive/GLM/GLM-5.2)
- [vLLM](https://github.com/vllm-project/vllm) (v0.23.0+) — 参见 [recipes](https://recipes.vllm.ai/zai-org/GLM-5.2)
- [Transformers](https://github.com/huggingface/transformers) (v0.5.12+) — 参见 [transformers docs](https://github.com/huggingface/transformers/blob/main/docs/source/en/model_doc/glm_moe_dsa.md)
- [KTransformers](https://github.com/kvcache-ai/ktransformers) (v0.5.12+) — 参见 [tutorial](https://github.com/kvcache-ai/ktransformers/blob/main/doc/en/kt-kernel/GLM-5.2-Tutorial.md)
- 在 `Ascend NPU` 平台上部署时，支持 vLLM-Ascend、xLLM、SGLang 等推理框架。

GLM-5 支持通过 `reasoning_effort` 参数控制思考力度，可选 `max` 和 `high` 两档。**默认为 `max`** —— 若不设置 `reasoning_effort`（或设置为 `high` 以外的任意值），模型均按 `Max` 运行；如需使用 `High` 档，必须显式传入 `reasoning_effort="high"`。对于榜单复现等默认场景，请保持 `Max`（无需任何设置）；仅当确实需要 `High` 档时再设置 `reasoning_effort="high"`。如需完全关闭思考，可设置 `enable_thinking=false`。

> 注：以上为基座模型 GLM-5.2 的通用部署说明。**本仓库为 W4AFP8 量化版本，请以本页顶部「中文 / English」小节中的 SGLang 部署命令为准**（需 `--quantization w4afp8`）。

## 引用

如果您在研究中发现 GLM-5 系列模型有帮助，请引用我们的技术报告（BibTeX 见下方英文部分）。