---
title: Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-GGUF
canonical_url: "https://www.modelscope.cn/models/Merkyor/Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-GGUF"
md_url: "https://www.modelscope.cn/models/Merkyor/Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-GGUF.md"
repository: Merkyor/Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-GGUF
chinese_name: "Step 3.7 Flash 180B LynnStyle GGUF"
last_updated: 2026-07-07
license: other
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - text-generation
base_model:
  - "Step 3.7 Flash"
base_model_relation: quantized
library_name:
  - gguf
frameworks:
  - GGUF
downloads: 294
stars: 2
tags:
  - lynnstyle
  - moe
  - gguf
  - quantization
  - glm52
  - gpt55
  - public-release
---

# Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-GGUF

> Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-GGUF - Merkyor 在 ModelScope 开源的模型。Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-GGUF

Merkyor/Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-GGUF 是 ModelScope 魔搭社区上的text-generation模型，采用 other 许可，基于 Step 3.7 Flash 构建。

- **Repository**: Merkyor/Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-GGUF
- **License**: other
- **Tasks**: text-generation
- **Base model**: Step 3.7 Flash
- **Tags**: lynnstyle, moe, gguf, quantization, glm52, gpt55, public-release
- **Downloads**: 294
- **Stars**: 2
- **Last updated**: 2026-07-07

Source: https://www.modelscope.cn/models/Merkyor/Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-GGUF

---

# Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-GGUF

> Step 3.7 Flash 180B LynnStyle GGUF · public name aligned with the HF repository slug.

## Llama.cpp 启动必读

**未合入兼容 patch 的官方 llama.cpp 预编译包会直接加载失败。**

原因是：当前官方 llama.cpp 预编译包不能识别剪枝后每层专家数不同的 Step35 / Step 3.7 MoE。它仍把 `step35.expert_count` 当作单个 `u32` 读取，而本模型的剪枝 MoE 需要按层数组记录专家数。

例如 `llama-b9892-bin-win-vulkan-x64` 会在模型头读取阶段报：

```text
key step35.expert_count has wrong type arr but expected type u32
```

这不是分片损坏，也不是 MTP 文件问题；必须使用已合入该逻辑的构建，或应用 patch 后重新编译。

**如果你不熟悉 llama.cpp 编译，建议把下面的 Patch 和使用说明链接直接交给 _Codex 或其他代码智能体_，让它在你的目标 llama.cpp 源码树里应用 patch 并重新编译。**

| 必要文件 | 仓内链接 |
|---|---|
| Patch | [patches/llama.cpp-step37-expert-count-array.patch](https://modelscope.cn/models/Merkyor/Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-GGUF/file/view/master?fileName=patches%2Fllama.cpp-step37-expert-count-array.patch) |
| 使用说明 | [runtime/llama.cpp-step37-compat.md](https://modelscope.cn/models/Merkyor/Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-GGUF/file/view/master?fileName=runtime%2Fllama.cpp-step37-compat.md) |

参考运行树：llama.cpp `8c146a8366304c871efc26057cc90370ccf58dad`；发布测试使用的是从已打 patch 的 llama.cpp 树编译出的 CUDA `llama-server`。

更新官方源码或预编译包（如 b9892）需要合入同等逻辑后重编译；重新下载 GGUF 分片不能解决这个错误。

> **重要：平台 GGUF 自动解析说明**：Hugging Face / ModelScope 的 GGUF 自动解析可能只扫到某个 MTP sidecar 或单个分片，从而显示 `3B 参数`、`5-bit`、`2.49GB` 等误导信息。这不是主模型。本仓是多分片、混合精度的 LynnStyle GGUF；请按 README 下载完整 `Q4/`、`Q5/`、`Q8/` 或 `Q3/` 分片，并搭配对应 MTP sidecar 启动。右侧硬件兼容/量化类型卡片不代表本混合精度版本的真实体积、参数量和量化策略。


> 
![model card header](assets/model-preview-zh.png)

> **_命名说明：GLM5.2-SFT / GPT5.5-RL 指后训练数据来源与审校来源，不是权重来源。SFT 阶段的大部分 Agent/ReAct 轨迹由 GLM 5.2 API 生成、改写或清洗；RL 阶段的大部分偏好对与 judge 信号来自 GPT-5.5/Codex 风格审校。模型没有混入 GLM 或 GPT 权重。_**

## 仓库定位

这是 `Step-3.7-Flash-180B-LynnStyle-GLM5.2-SFT-GPT5.5-RL` 的 GGUF 量化仓。

名字里的 **180B** 来自剪枝后的有效规模定位：原始 MoE 经专家热力和任务工作区约束，剪掉约 8%、约 1000 个低贡献专家后，形成更适合端侧部署的 180B 级 MoE。

名字里的 **LynnStyle** 是完整端侧方法链：定位保护关键层/专家/张量族，动态分层剪枝低贡献路径，针对性 SFT/RL 修复重思考、空答、不交付和格式不可解析，最后在 LynnStyle Q8/Q5/Q4/Q3/Q2 GGUF 量化中继续动态保护核心层、热门专家、router、attention、lm_head、MTP 与收口路径。

BF16 主仓：

https://modelscope.cn/models/Merkyor/Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL

本仓只用于 GGUF 量化文件、GGUF runtime smoke、MTP 单流/并发检查结果和量化门禁结果。BF16 权重不应放在本仓。

> 下载提示：ModelScope 右侧 GGUF 自动解析组件不一定能正确识别 LynnStyle 混合精度分片和 MTP sidecar。请以本 README 的目录说明为准：主模型从 `Q4/`、`Q5/` 或 `Q8/` 下载完整分片，MTP 加速文件放在对应档位目录内，然后按下面 llama.cpp 模板组合启动。

## 文本版与 MTP sidecar

本仓当前发布的是 **文本推理 / 代码 / Agent-ReAct GGUF 版本**，当前不声明视觉输入能力。原始 dyn263 BF16 保留过 `vision_config`、`vision_encoder.py` 等多模态条件模型痕迹；但本次最终 RL2 合并、导出、量化和测评链未定位并验证完整视觉组件，包括视觉塔权重、projector / `mmproj`、`image_processor`、image token 对齐和 llama.cpp 图像输入 smoke。因此当前 GGUF 权重和测评只声明文本能力。

MTP sidecar 是 **可选 speculative decoding draft 文件**，用于配合主模型加速推理；它不是视觉文件，也不能单独当主模型使用。Q8 模型搭配 `Q8/Step-3.7-Flash-MTP-Q8_0.gguf`，LynnStyle Q5 搭配 `Q5/Step-3.7-Flash-MTP-Q8_0.gguf`，LynnStyle Q4 搭配 `Q4/Step-3.7-Flash-MTP-Q5_K_M.gguf`。后续会继续定位原始多模态组件链路；在视觉塔、projector / `mmproj`、processor、image token 对齐和图像输入 smoke 都确认后，再单独量化、测评并补发多模态版本，而不是混入当前文本主线。

## LynnStyle GGUF 混合精度策略

Q8 是质量基线。本仓最关键的发布目标是 **LynnStyle Q4**：约 90G，面向 96G/R6000 单卡。原来能塞进 R6000 的版本更接近质量崩掉的 Q3；Q4 提前测评，是为了验证 LynnStyle 是否真的把 180B 级 MoE 推进了单卡端侧。

当前正在验证的核心端侧档是 **LynnStyle Q4 Profile F6 91G**。它不是单纯 `IQ4_XS`，而是“显式核心层保护 + interleaved imatrix 校准 + 冷门 MoE 专家下探”的混合精度方案。Profile F6 dry-run 目标体积为 `93216.74 MiB / 91.03 GiB`，目标是在保住核心质量的前提下给 96G/R6000 留出更现实的启动、上下文和 MTP 余量。

LynnStyle Q4 的实际保护清单：

| 保护桶 | 具体权重 / 张量族 | 量化档 | 命中 tensor |
|---|---|---:|---:|
| `L0-L2` 前 3 Dense block | `blk.0-2.*.weight` 全部权重 | `Q8_0` | 36 |
| embedding / output / rope / output_norm 锚点 | `token_embd.weight`、`output.weight`、`output_norm.weight`、`rope_freqs.weight` | `Q8_0` | 4 |
| 全层 norm / gate / router 小张量 | `attn_norm`、`ffn_norm`、`attn_q_norm`、`attn_k_norm`、`attn_gate`、`ffn_gate_inp`、`exp_probs_b.bias` | `Q8_0` | 294 |
| 全层 shared experts | `ffn_down_shexp.weight`、`ffn_gate_shexp.weight`、`ffn_up_shexp.weight` | `Q8_0` | 126 |
| 后段 `L43-L44` MoE 专家 | `ffn_down_exps.weight`、`ffn_gate_exps.weight`、`ffn_up_exps.weight` | `Q5_K` | 6 |
| `L39-L42` shoulder 与 `L4/L16/L30` 热区 MoE 专家 | `ffn_down_exps.weight`、`ffn_gate_exps.weight`、`ffn_up_exps.weight` | `Q4_K` | 21 |
| attention `q/k/v/o` 家族 | `attn_q.weight`、`attn_k.weight`、`attn_v.weight`、`attn_output.weight` | `Q4_K` | 168 |
| 冷门 MoE 专家 `L5/L6/L8-L11` | `ffn_down_exps.weight`、`ffn_gate_exps.weight`、`ffn_up_exps.weight` | `Q3_K` | 18 |
| 其余 MoE 专家 | 其他 `ffn_down/gate/up_exps.weight` | 默认 `IQ4_XS` | 81 |

这份保护表再叠加 2026-07-06 的交错 imatrix 校准集。校准集按 LBC / Coding100 / ReAct / GPQA / MMLU / native SFT / RL preference 轮转构建，不使用 benchmark gold answer 作为监督标签。

上面的两张图是 GGUF 分层量化的依据，也解释了为什么剪掉约 1000 个 MoE 专家不是盲剪：MMLU/GPQA 和 LBC/Coding100 的专家集中度并不完全相同，代码路径会暴露通识推理看不到的专用专家；热力图也显示中间层存在局部工作区，所以 LynnStyle Q4/Q3/Q2 不是只保护首尾，而是按任务工作区、专家热度和张量族一起分配精度。

![MoE expert concentration](assets/moe-expert-concentration.png)

![LBC/Coding expert heatmap](assets/lbc-coding-expert-heatmap.png)

目标是让 48GB 到 128GB 的本地硬件都能上车，同时尽量保留 Q8 的推理、代码和收口质量。

## 计划档位

| 档位 | 目标硬件 | 目标定位 | 状态 |
|---|---:|---|---|
| LynnStyle Q8 | 190GB+ / 多卡 | 质量基线 | RL2 Q8 基线已确认 |
| LynnStyle Q4 | 96GB / R6000 | **核心主推档** | Profile F6 91G：显式保护 + imatrix v2calib 校准；四项门禁和 MTP 矩阵已完成 |
| LynnStyle Q5 | 128GB | 高质量档 | 四项测评和 MTP 矩阵已完成 |
| LynnStyle Q3 | 64G | 低显存档 | Q4 MTP 约61G |
| LynnStyle Q2 Experimental | 48GB | 上车体验 / 实验档 | 后续补齐 |

下载方式：

- **LynnStyle Q4**：下载 `Q4/` 下全部 `00001-of-00005` 到 `00005-of-00005` 分片；
- **LynnStyle Q5**：下载 `Q5/` 下全部 `00001-of-00005` 到 `00005-of-00005` 分片；
- **LynnStyle Q8**：下载 `Q8/` 下全部 Q8 分片；
- **MTP sidecar**：Q8 下载 `Q8/Step-3.7-Flash-MTP-Q8_0.gguf`；LynnStyle Q5 下载 `Q5/Step-3.7-Flash-MTP-Q8_0.gguf`；LynnStyle Q4 下载 `Q4/Step-3.7-Flash-MTP-Q5_K_M.gguf`，作为 `--model-draft` 可选加速文件；
- `MTP/` 不是视觉文件目录，也不是主模型目录。

通过验收的 GGUF 主模型文件会显式带上量化档位和 `imatrix` 等信息；MTP sidecar 放在对应档位目录内。LynnStyle Q4 是混合精度量化，不等同于单一 GGUF 类型，右侧自动解析卡片可能无法完整表达。

## MTP 推荐设置

LynnStyle Q4 和 Q5 已完成 C1/C2/C4、draft N=1..4 的 MTP 矩阵。下面是 2026-07-06 R6000 环境下的实测结果；`TPS` 为 llama.cpp `predicted_tokens_seconds`。

| 并发 | draft N=1 | draft N=2 | draft N=3 | draft N=4 | 推荐 |
|---|---:|---:|---:|---:|---|
| C1 | 4/4, 124.0 tok/s, 4.816s | 4/4, 135.7 tok/s, 4.249s | **4/4, 142.3 tok/s, 4.041s** | 4/4, 141.4 tok/s, 4.066s | **N=3** |
| C2 | 4/4, 76.7 tok/s, 8.015s | 4/4, 79.0 tok/s, 7.733s | **4/4, 86.4 tok/s, 6.533s** | 4/4, 84.5 tok/s, 6.417s | **N=3** |
| C4 | 4/4, 56.2 tok/s, 10.164s | 4/4, 54.6 tok/s, 10.159s | **4/4, 51.1 tok/s, 10.115s** | 4/4, 51.6 tok/s, 11.220s | **N=3** |

96G/R6000 的 LynnStyle Q4 推荐搭配 `Q4/Step-3.7-Flash-MTP-Q5_K_M.gguf`；LynnStyle Q5 和 Q8 搭配对应目录下的 `Step-3.7-Flash-MTP-Q8_0.gguf`。Q8_0 MTP sidecar 约 3.71GB，不建议作为 96G Q4 的默认搭配。

LynnStyle Q5 MTP：

| 并发 | 推荐 draft N | TPS | 平均延迟 |
|---|---:|---:|---:|
| C1 | N=3 | 124.1 tok/s | 4.372s |
| C2 | N=3 | 72.0 tok/s | 7.579s |
| C4 | N=1 | 52.2 tok/s | 10.976s |


## 当前状态

最终 BF16/Q8 候选已选定为 RL2：

| 指标 | Q8+MTP 结果 |
|---|---:|
| MMLU500 | 465/500 = 93.0% |
| GPQA198 | 149/198 = 75.25% |
| Coding100 | 76/100 |
| LBC100 | 77/100 |

LynnStyle Q4 imatrix Profile F6 91G 已完成四项公开测评：

| 指标 | LynnStyle Q4 结果 |
|---|---:|
| MMLU500 | 463/500 = 92.6% |
| GPQA198 | 142/198 = 71.72% |
| Coding100 | 76/100 |
| LBC100 | 73/100 |


LynnStyle Q5 imatrix 已完成四项公开测评：

| 指标 | LynnStyle Q5 结果 |
|---|---:|
| MMLU500 | 460/500 = 92.0% |
| GPQA198 | 143/198 = 72.22% |
| Coding100 | 77/100 |
| LBC100 | 74/100 |

![GPQA high vs LynnStyle RL2](assets/gpqa-high-vs-rl2.png)

选择 RL2 的原因：RL1 对照 GPQA 跑到 `81/117 = 69.23%` 时已经明显落后，剩余题需要极高正确率才能反超；RL2 在守住 MMLU/Coding/LBC 的同时，明显减少 GPQA 与 LBC 的空答、length 和不交付形态。

## llama.cpp 启动模板

下面是使用参考，不放在页面开头。Q8 是质量基线；LynnStyle Q4 是 96G/R6000 核心主推档。Q5/Q4/Q3/Q2 只有完成校准、MTP 单流/并发检查和四项公开测评后，才会上传完整权重。

### LynnStyle Q8 + MTP

```bash
MAIN_GGUF="Q8/Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-Q8_0-00001-of-00005.gguf"
MTP_GGUF="Q8/Step-3.7-Flash-MTP-Q8_0.gguf"

./llama-server \
  -m "$MAIN_GGUF" \
  -ngl 999 \
  --split-mode layer \
  --ctx-size 32768 \
  --parallel 1 \
  --cont-batching \
  --jinja \
  --reasoning on \
  --reasoning-format deepseek \
  --spec-type draft-mtp \
  --model-draft "$MTP_GGUF" \
  --spec-draft-ngl 999 \
  --spec-draft-n-max 2 \
  --spec-draft-p-min 0.6 \
  --host 0.0.0.0 \
  --port 8000
```

### LynnStyle Q4 imatrix + MTP

```bash
MAIN_GGUF="Q4/Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-Q4-imatrix-MTP-00001-of-00005.gguf"
MTP_GGUF="Q4/Step-3.7-Flash-MTP-Q5_K_M.gguf"

./llama-server \
  -m "$MAIN_GGUF" \
  -ngl 999 \
  --ctx-size 8192 \
  --parallel 1 \
  --cont-batching \
  --jinja \
  --reasoning on \
  --reasoning-format deepseek \
  --spec-type draft-mtp \
  --model-draft "$MTP_GGUF" \
  --spec-draft-ngl 999 \
  --spec-draft-n-max 3 \
  --spec-draft-p-min 0.6 \
  --host 0.0.0.0 \
  --port 8000
```

当前 Q4 MTP matrix 建议：C1/C2/C4 都优先使用 `--spec-draft-n-max 3`。

---

# English Summary

This is the public GGUF repository for `Step-3.7-Flash-180B-LynnStyle-GLM5.2-SFT-GPT5.5-RL`.

`GLM5.2-SFT / GPT5.5-RL` describes post-training data provenance, not weight provenance: most SFT Agent/ReAct trajectories were generated, rewritten, or cleaned with GLM 5.2 API assistance, while most RL preference pairs and judge signals came from a GPT-5.5/Codex-style review policy. No GLM or GPT weights are mixed into the model.

Main BF16 repository:

https://modelscope.cn/models/Merkyor/Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL

This repo is for GGUF quantized files, runtime smoke results, MTP single/concurrent checks, and quantized gate metrics. BF16 weights should live in the main repository, not here.

Download note: the ModelScope GGUF sidebar may not correctly parse LynnStyle mixed-precision shards or sidecar files. Please follow this README: download all main-model shards from `Q4/`, `Q5/`, or `Q8/`, then download the optional draft sidecar from the same tier directory and launch them together with the llama.cpp template below.

Text-only scope: the original dyn263 BF16 source retained multimodal traces such as `vision_config` and `vision_encoder.py`, but this final RL2 merge/export/quantization/evaluation path did not locate and validate the complete vision stack, including vision-tower weights, projector / `mmproj`, `image_processor`, image-token alignment, and llama.cpp image-input smoke tests. Therefore this GGUF release only claims text-generation capability.

MTP sidecars are optional speculative-decoding draft files. They are not vision files and cannot be used as standalone main models. The Q8 model uses `Q8/Step-3.7-Flash-MTP-Q8_0.gguf`; LynnStyle Q5 uses `Q5/Step-3.7-Flash-MTP-Q8_0.gguf`; LynnStyle Q4 uses `Q4/Step-3.7-Flash-MTP-Q5_K_M.gguf`. The original multimodal component chain will be revisited; once the vision tower, projector / `mmproj`, processor, image-token alignment, and image-input smoke tests are validated, a separately quantized and evaluated multimodal release can be added later.

The selected final candidate is RL2:

- MMLU500: `465/500 = 93.0%`
- GPQA198: `149/198 = 75.25%`
- Coding100: `76/100`
- LBC100: `77/100`

RL2 was selected because it preserves the core public gates while reducing the heavy-thinking/non-closure failure modes. RL1 remained a fallback, but its GPQA contrast run was stopped at `81/117 = 69.23%`, making RL2 the stronger final candidate for this release objective.

LynnStyle GGUF tiers are mixed-precision designs, not uniform low-bit cuts. Core layers, hot experts, routers, attention paths, lm_head, and MTP stay protected, while cold experts and lower-sensitivity tensors can go lower-bit. Each tier must pass runtime and evaluation gates before publication.