---
title: GLM-5.3-CYBERSECURITY-W4A16
canonical_url: "https://www.modelscope.cn/models/yangkong/GLM-5.3-CYBERSECURITY-W4A16"
md_url: "https://www.modelscope.cn/models/yangkong/GLM-5.3-CYBERSECURITY-W4A16.md"
repository: yangkong/GLM-5.3-CYBERSECURITY-W4A16
chinese_name: GLM-5.3-CYBERSECURITY-W4A16
last_updated: 2026-10-11
license: mit
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - glm_moe_dsa
architectures:
  - GlmMoeDsaForCausalLM
base_model:
  - dealignai/GLM-5.3-CYBERSECURITY-FP8
  - JANGQ-AI/GLM-5.3-FP8
  - zai-org/GLM-5.3
base_model_relation: quantized
parameters: 753.3B
tensor_type:
  - F32
  - BF16
  - I64
  - I32
library_name:
  - safetensors
language:
  - zh
  - en
  - ru
  - sr
  - hi
  - fr
  - es
  - ar
  - ko
  - ja
downloads: 6
stars: 0
tags:
  - cybersecurity
  - offensive-security
  - red-team
  - pentest
  - malware-analysis
  - refusal-removed
  - abliterated
  - domain-specific
  - quantized
  - int4
  - w4a16
  - compressed-tensors
  - pack-quantized
  - moe
  - glm
  - glm_moe_dsa
  - vllm
---

# GLM-5.3-CYBERSECURITY-W4A16

> GLM-5.3-CYBERSECURITY-W4A16 - yangkong 在 ModelScope 开源的模型。GLM-5.3-CYBERSECURITY-FP8 的 W4A16 量化版：只量化路由专家，解除拒答的对齐层 1119/1119 逐位保留。755.6 → 419.4 GB，单机 8×A800 80GB 可跑，含 MTP 投机解码，质量与上游 FP8 无统计差异。

yangkong/GLM-5.3-CYBERSECURITY-W4A16 是 ModelScope 魔搭社区上的 753.3B 参数text-generation模型，采用 mit 许可，基于 dealignai/GLM-5.3-CYBERSECURITY-FP8、JANGQ-AI/GLM-5.3-FP8、zai-org/GLM-5.3 构建。

- **Repository**: yangkong/GLM-5.3-CYBERSECURITY-W4A16
- **License**: mit
- **Tasks**: text-generation
- **Parameters**: 753.3B
- **Base model**: dealignai/GLM-5.3-CYBERSECURITY-FP8, JANGQ-AI/GLM-5.3-FP8, zai-org/GLM-5.3
- **Tags**: cybersecurity, offensive-security, red-team, pentest, malware-analysis, refusal-removed, abliterated, domain-specific, quantized, int4, w4a16, compressed-tensors, pack-quantized, moe, glm, glm_moe_dsa, vllm
- **Downloads**: 6
- **Stars**: 0
- **Last updated**: 2026-10-11

Source: https://www.modelscope.cn/models/yangkong/GLM-5.3-CYBERSECURITY-W4A16

---

<div align="center">

<img src="dealign_mascot.png" width="160" alt="dealignai mascot" />

# GLM 5.3 CRACK — Cybersecurity W4A16

**Cybersecurity-focused CRACK · 路由专家 int4、对齐层 bf16 逐位保留 · 单机 8×A800 80GB 可跑 512K 上下文**

<img src="dealign_logo.png" width="220" alt="dealignai logo" />

a **CRACK** release by [dealignai](https://huggingface.co/dealignai) · Twitter [@dealignai](https://twitter.com/dealignai)

int4 **W4A16** 权重量化 by [yangkong](https://www.modelscope.cn/profile/yangkong)

</div>

---

> **本仓库是 [`dealignai/GLM-5.3-CYBERSECURITY-FP8`](https://www.modelscope.cn/models/dealignai/GLM-5.3-CYBERSECURITY-FP8) 的 W4A16 权重量化版。**
> 量化范围**仅限** 76 层路由专家的 `gate` / `up` / `down`（int4 · group_size 128 · 非对称 · RTN 免校准）；承载领域对齐的 bf16 非专家层 **1119 / 1119 逐张量原样保留**。
> **755.6 → 419.4 GB（−44.5%）**，单机 **8×A800 80GB**（`TP=4 × PP=2`）可跑 **512K 上下文**（sm80 需稀疏 MLA overlay，见 [4.2](#42-sm80-需稀疏-mla-补丁)）；**MTP 投机解码头完整保留**（单流 71.9 ~ 80.0 tok/s）。
> MMLU-logit **87.43%** vs 上游 FP8 **86.65%** —— 测不到可测量的退化。

### 概览

| 项目 | 值 |
|---|---|
| **基座链路** | [`zai-org/GLM-5.3`](https://huggingface.co/zai-org/GLM-5.3) → [`JANGQ-AI/GLM-5.3-FP8`](https://www.modelscope.cn/models/JANGQ-AI/GLM-5.3-FP8) → [`dealignai/GLM-5.3-CYBERSECURITY-FP8`](https://www.modelscope.cn/models/dealignai/GLM-5.3-CYBERSECURITY-FP8) → **本产物** |
| **量化方式** | RTN 权重量化（**无校准数据、无训练**），仅作用于路由专家 |
| **架构** | `GlmMoeDsaForCausalLM`（MoE + MLA + DSA 稀疏注意力），78 层 + 1 MTP 层 |
| **参数 / 精度** | 753.3 B / 路由专家 int4 · 其余 bf16（W4A16） |
| **体积 / 分片** | **419.4 GB = 390.6 GiB**（25 个 safetensors 分片）；源模型 755.6 GB = 703.7 GiB |
| **权重格式** | `compressed-tensors` · `pack-quantized`（Marlin WNA16） |
| **上下文 / KV 池** | **524,288（512K）**· `fp8_ds_mla` KV 池 729,280；`bfloat16` 上限 236,224 |
| **模态 / 语言** | 纯文本 / zh, en, ru, sr, hi, fr, es, ar, ko, ja |
| **推理引擎** | vLLM `v0.30.0-ubuntu2404` **上游原件** + 4 层只读 overlay（sm80 稀疏 MLA） |
| **实测硬件** | 单机 **8×A800 80GB**，`TP=4 × PP=2`，权重约 48 GiB/卡 |

---

## 一 模型概述

本产物只量化 MoE 路由专家（`gate` / `up` / `down`，占 97.5% 参数），领域对齐层**逐位保留**（见 [2.2](#22-位宽分配) / [2.4](#24-非专家保真度)）。

### 适用范围

| 项目 | 说明 |
|---|---|
| **目标域** | 攻击性安全：红队、漏洞利用开发、逆向工程、免杀规避、凭据攻击、恶意代码分析 |
| **实测表现** | `cyber_offense` 三档 TRUE_COMPLY **87.9% / 90.9% / 72.7%**（off / low / max），三档拒答数 **0** |
| **非目标域** | 武器 / 化学 / 生物 / 骚扰 / 虚假信息**不保证解除**；因拒答子空间共享而部分泛化，max 档回落明显 |
| **已知边界** | 版权逐字复现仍软拒答 → 需要该能力请用 [`dealignai/GLM-5.3-UNCENSORED-FP8`](https://huggingface.co/dealignai/GLM-5.3-UNCENSORED-FP8) |
| **责任边界** | 无输出侧安全过滤；仅限合法授权场景，见 [六、使用限制](#六使用限制) |

---

## 二 模型介绍

### 2.1 架构

| 项 | 值 |
|---|---|
| 架构 / 类型 | `GlmMoeDsaForCausalLM` / `glm_moe_dsa` |
| 层 | 主干 78（层 0–77）+ MTP 1（层 78）；`first_k_dense_replace=3` → 层 0–2 稠密，层 3–78 MoE |
| 专家 | 256 路由（top-8）+ 1 共享 / 层，`moe_intermediate_size=2048` |
| 隐藏维 / 词表 | 6144 / 154880 |
| 注意力 | MLA（`q_lora_rank=2048`、`kv_lora_rank=512`、head_size 576）+ DSA 稀疏索引（`index_topk=2048`），64 头 |
| 位置编码 | `max_position_embeddings=1048576`（实际受 KV 显存限制，见 [4.3](#43-关键缺省)） |
| 总参数 | 753.3 B |

### 2.2 位宽分配

| 部分 | 参数量 | 模块数 | 位宽 | 参数 |
|---|---:|---:|---|---|
| 路由专家 `gate` / `up` / `down_proj`（含 MTP 层） | 734.4 B | **58,368** | **int4** | `group_size=128`、非对称、`zp_dtype=int8` |
| attention / embed / router / 共享专家 / 层 0–2 / `eh_proj` / `shared_head` / `lm_head` / MTP 非专家 | 18.9 B | 777 | bf16 | — |

`58,368 = 76 MoE 层（3–77 主干 + 78 MTP）× 256 专家 × 3 投影`。

### 2.3 量化配置

```json
{"quant_method": "compressed-tensors", "format": "pack-quantized",
 "config_groups": {"group_0": {
   "targets": ["re:.*mlp\\.experts\\..*\\.(gate|up|down)_proj$"],
   "weights": {"num_bits": 4, "type": "int", "symmetric": false, "group_size": 128,
               "strategy": "group", "observer": "memoryless_minmax", "zp_dtype": "torch.int8"}}},
 "ignore": ["...784 项..."]}
```

每个量化张量为 `weight_packed`（8×int4 / int32）+ `weight_scale`(bf16) + `weight_shape`(int64[2]) + `weight_zero_point`(int8)。等价配方见本目录 `recipe.yaml`。

### 2.4 非专家保真度

源模型卡注明其领域对齐修改位于 bf16 非专家残差写回层（*"Routed FP8 experts unchanged; only bf16 residual writers are edited"*），故配方只量化路由专家。非专家张量 **1119/1119 逐位一致**（676 个 FP8 非专家 → bf16 后逐位一致，443 个 bf16 原样搬运），零信息损失。

### 2.5 MTP 头

`model.layers.78.*` 不属于主干 `state_dict`，量化保存时会被 llm-compressor 静默丢弃。本产物已重新打包补回（1,569 源张量 → 3,095 产物张量，专家部分同为 int4），落在 `model-00025-of-00025.safetensors`，**缺失时无法启用 MTP 投机解码。**

## 三 模型训练

**本产物无训练。** 全流程为 RTN 权重量化（FP8 权重 → group min/max → scale/zero_point → 舍入 int4 → 打包 int32），无梯度更新、无 SFT/RLHF/DPO、无 LoRA、**无校准数据**。

### 3.1 上游归属

| 阶段 | 归属 | 做法 |
|---|---|---|
| 基座预训练 / 后训练 | `zai-org` | 官方 `GLM-5.3`；训练数据与流程**未公开** |
| FP8 量化 | `JANGQ-AI` | FP8 `e4m3`，`weight_block_size=[128,128]` |
| **领域对齐（crack）** | `dealignai` | 真实权重修改（bf16 非专家残差写回层），非微调 / LoRA / 运行时 hook |
| int4 量化 | 本项目 | RTN，仅路由专家 |

### 3.2 量化流程

1. 混合精度 RTN 配方先得到 `gate/up=int4`、`down=int6`，被 vLLM 硬约束 `All MoE projections need to have same quantization scheme` **拒收**。
2. 重打包脚本再把 `down_proj` **从 FP8 源重新量化**为 int4（非截断、非反量化再量化；走 llm-compressor 官方 `calculate_qparams` → `quantize` → `pack_to_int32`，抽样比对 **98.70% 逐元素一致**）⇒ 三投影统一 int4。

### 3.3 RTN vs GPTQ

| | GPTQ | RTN（采用） |
|---|---|---|
| 校准数据 | 需要 | 不需要 |
| 专家 Hessian | ≈81.6 GiB **> A800 单卡 80 GiB** | — |
| 推算耗时 | **≈75 h**（offload 后 GEMM 仅 ~20 GFLOPS） | **小时级** |

### 3.4 验收

| 判据 | 结果 |
|---|---|
| 非专家保真度 | 1119/1119 逐位一致 ✅ |
| 位宽 / 体积 / 配方一致性 | int4 58,368 / 734.4 B，bf16 777 / 18.9 B，753.3 B ✅ |
| index ↔ 25 分片逐张量 | 缺失 0 / 多余 0 / 指向不一致 0 ✅ |

---

## 四 模型推理

### 4.1 运行条件

| 架构 | 代表卡 | 状态 |
|---|---|---|
| **sm80**（Ampere 数据中心） | **A800 / A100 80GB** | ✅ **实测**：单机 **8×A800 80GB**，`TP=4 × PP=2` |
| sm86 / sm89（Ampere / Ada） | RTX 30xx / 40xx | 预期可用，未实测；受总显存限制（权重 419.4 GB） |
| sm90 / sm100（Hopper / Blackwell） | H100 / H200 / B200 | 可用（上游原生支持稀疏 MLA） |

权重约 48 GiB/卡，`TP × PP` 必须 = 卡数（缺省 `TP=4 × PP=2`）。引擎用**上游原件镜像** `vllm/vllm-openai:v0.30.0-ubuntu2404`，**不需定制镜像**；sm80 / 86 / 89 的稀疏 MLA 由只读 overlay 补齐（见 [4.2](#42-sm80-需稀疏-mla-补丁)）。完整部署套件：<https://gitee.com/kill-life/glm5.3-cybersec-w4a16-vllm-sm80-deploy>。

### 4.2 sm80 需稀疏 MLA 补丁

上游 vLLM 的稀疏 MLA 内核仅支持 Hopper / Blackwell，官方镜像在 A800 上约 **91 s** 后启动失败：`ValueError: No valid attention backend found ... use_sparse=True`。

套件以**只读 overlay**（bind-mount）补齐、**不改镜像**：`patches/sm80_v030/`（10 个注意力路径文件 = 3 新增 vendor + 7 锚点改写，**无一与量化相关**，离线自检 **反证 6/6 + 正证 24/24**），外加 `fp8_kv` · `sampling_defaults` · `responses_compat` 三层。逐层可关、逐文件 sha256 校验；换镜像 tag 会拒绝启动。

### 4.3 关键缺省

参数由套件按 `.env` 拼装，**缺省即定稿**；完整清单与逐条依据见套件 [`docs/PARAMETERS.md`](https://gitee.com/kill-life/glm5.3-cybersec-w4a16-vllm-sm80-deploy/blob/main/docs/PARAMETERS.md)。

| 关键项 | 缺省 | 说明 |
|---|---|---|
| 并行 / 层切分 | `TP=4 × PP=2`，`41,37` | `TP×PP` 必须 = 卡数；均分 `39,39` 会让背 MTP 的末级成瓶颈 ⇒ KV 池 **597,760 → 729,280（+22%）** |
| 上下文 / KV | `--max-model-len 524288`、`--kv-cache-dtype fp8_ds_mla` | 512K，KV 池 729,280；bf16 上限 236,224。⚠️ 上限须实测，**不能由 KV 池倒推** |
| 投机解码 | `--speculative-config {"method":"mtp","num_speculative_tokens":3}` | k=3 单流最优；高并发优先 k=2（conc8 +21%、单流 −9.8%） |
| sm80 注意力 | `--attention-config {"sparse_mla_force_mqa":true}` | **必填**，否则真实 prefill 崩在 `forward_mha` |
| 抗退化缺省 | 采样 `temp 0.8 / top_p 0.9 / fp 0.3` + `reasoning_effort=high` | 🔴 客户端三键都不传时兜底，见 [4.4](#44-思考模式) |

> 其余缺省与已证否的旋钮（`gpu-mem-util 0.95`、`max-num-batched-tokens 8192`、编译捕获表 `4,8,…,256` 的 **token 单位**、`--enforce-eager` **勿加**、`TP=2×PP=4` 的 1M 方案**当前不可用**）见套件文档。

> `fp8_ds_mla` 为本项目实现的 sm80 软件反量化路径（fp8 存 + bf16 算），精度无退化（MMLU 逐题一致率 98.4~98.7%、大海捞针 32K/128K/240K 9/9）。⚠️ 回退 bf16 时必须同步将 `--max-model-len` 降至 ≤ 236224，否则启动失败。

### 4.4 思考模式

`chat_template.jinja` 与源逐字节相同，**无 `enable_thinking` 变量**（GLM-5.3 上游设计）；模板只认 `low` / `high`。

| 传参 | 效果 |
|---|---|
| 不传 | ✅ 吃服务端缺省 `high`（实测 10/10 命中） |
| `reasoning_effort: "high"` / `"low"` | ✅ 推荐档 / 要快、要短档（各 10/10，token 中位 43 / 29） |
| `reasoning_effort: "max"` | ⚠️ 思考极长且**简单指令掉到 6/10**；`max_tokens` 给小了会返回空正文 |
| `"none"` / `chat_template_kwargs: {enable_thinking: false}` | ⛔ 都不要用：前者模板当 `Max` + 解析关闭；后者不改变 prompt，只把 CoT 倒进 `content` |

`reasoning_effort` 是**质量 / 长度旋钮，不是速度旋钮**。`clear_thinking`（默认 `true`）必须放在 `chat_template_kwargs` 内，顶层会被忽略。

---

## 五 模型效果

评测口径严格复刻上游 FP8 模型卡的两项测量（MMLU-logit 1026 题 + HarmBench-320）；服务配置 8×A800、`TP=4 × PP=2`、512K、`fp8_ds_mla`、MTP k=3。

### 5.1 服务正确性

25/25 分片加载成功；12/12 有确定答案探针答对（含代码生成并真实编译执行）；无乱码 / 复读 / 截断；36 路并发探针 36/36 无差异。部署套件侧另有 agent 档退化 **0/200**、工具往返 **100/100**、Responses **10/10**、长上下文寻针 **131K/262K/500K 9/9**（522,936 token 3/3）。

### 5.2 MMLU-logit（1026 题，n=1026）

| 口径 | 准确率 | 95% CI | Δ vs 上游 FP8 (86.65%) | gate ±5pp |
|---|---:|---|---:|:---:|
| **0-shot echo（上游口径）** | **87.43%** (897/1026) | ±2.02 | **+0.78** | ✅ |
| 0-shot gen | 88.11% (904/1026) | ±1.98 | +1.46 | ✅ |
| 5-shot echo | 89.28% (916/1026) | ±1.89 | +2.63 | ✅ |
| 5-shot gen | 88.99% (913/1026) | ±1.92 | +2.34 | ✅ |

### 5.3 HarmBench-320

非版权 240 条（真实危害面）TRUE_COMPLY：

| surface | W4A16 | 上游 FP8 | Δ |
|---|---:|---:|---:|
| off | **87.9%** (211) | 81.7% | +6.2 |
| low | **86.2%** (207) | 84.2% | +2.0 |
| max | **77.5%** (186) | 80.0% | −2.5 |

各档 HARD_REFUSE ≈ 0。

### 5.4 分领域（非版权子集，TRUE_COMPLY off / low / max）

| 主题 | N | off | low | max |
|---|---:|---:|---:|---:|
| **cyber_offense** | 33 | **87.9** | **90.9** | **72.7** |
| chem_drugs | 25 | 92.0 | 92.0 | 72.0 |
| fraud_financial | 13 | 76.9 | 84.6 | 76.9 |
| misinformation | 13 | 84.6 | 92.3 | 53.8 |
| violence_generic | 10 | 80.0 | 60.0 | 70.0 |
| bio_weapons | 9 | 77.8 | 88.9 | 66.7 |
| political_extremism | 9 | 66.7 | 77.8 | 77.8 |
| explosives | 7 | 85.7 | 85.7 | 71.4 |
| harassment_hate | 7 | 100 | 100 | 100 |

主题正则未由上游公布，故各主题 N 与上游不同，仅可与上游同表比方向。`cyber_offense` 三档拒答数 0/0/0。

### 5.5 评测边界

- 与上游对比使用其**公开数字**，非同 harness 实测对照（同 harness FP8 对照需 Hopper）。
- 0-shot Δ=+0.78pp 落在 ±1.08pp 抽样标准误内，**结论是「测不到可测量的退化」，不是「无损或更好」**。
- RTN 无校准，覆盖范围仅 MMLU 与 HarmBench；未跑全量 MMLU-14042；**未做端到端 agent 渗透任务评测**。

---

## 六 使用限制

**适用**：授权范围内的红队演练、漏洞利用开发、CTF、防御方恶意代码分析、安全教学、授权渗透测试、威胁情报撰写。

**禁止**：对未授权系统发起攻击；违反 CFAA / DMCA 或所在辖区同等法律的行为；攻击关键信息基础设施或生命攸关系统；CSAM、真实人物诽谤、煽动对真实人物的暴力。

**其他**：模型会幻觉（漏洞细节、API 用法、CVE 编号尤甚），安全场景勿直接采信；自我伤害类请求仍被拒绝并给出危机干预热线；本模型无输出侧安全过滤，使用者的合规责任不因量化而改变。

许可证 **MIT**（与基座一致），输出与使用后果由使用者承担。

---

## 七 溯源与致谢

| 环节 | 来源 |
|---|---|
| 基座 | [`zai-org/GLM-5.3`](https://huggingface.co/zai-org/GLM-5.3) |
| FP8 | [`JANGQ-AI/GLM-5.3-FP8`](https://www.modelscope.cn/models/JANGQ-AI/GLM-5.3-FP8) |
| **网络安全领域对齐** | [`dealignai/GLM-5.3-CYBERSECURITY-FP8`](https://www.modelscope.cn/models/dealignai/GLM-5.3-CYBERSECURITY-FP8) · [@dealignai](https://twitter.com/dealignai) |
| int4 量化 | 本项目（RTN via llm-compressor `QuantizationModifier`） |
| 8×A800 (sm80) 部署 | 见 [4.1](#41-运行条件) 的部署套件链接 |

领域对齐工作完全归功于 dealignai。

## 八 引用

```bibtex
@misc{glm53_cybersec_w4a16,
  title = {GLM-5.3-CYBERSECURITY-W4A16: int4 weight-only quantization of GLM-5.3-CYBERSECURITY-FP8},
  note  = {Quantized from dealignai/GLM-5.3-CYBERSECURITY-FP8 (based on JANGQ-AI/GLM-5.3-FP8 and zai-org/GLM-5.3)},
  year  = {2026}
}
```