--- title: Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding canonical_url: "https://www.modelscope.cn/models/Merkyor/Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding" md_url: "https://www.modelscope.cn/models/Merkyor/Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding.md" repository: Merkyor/Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding last_updated: 2026-07-14 license: other model_type: - qwen3_5_text architectures: - Qwen3_5ForCausalLM base_model: - Merkyor/Qwen3.6-27B-DSV4Pro-Thinking-Distill base_model_relation: quantized parameters: 26.9B tensor_type: - BF16 library_name: - safetensors - gguf - pytorch frameworks: - Pytorch downloads: 1180 stars: 3 tags: - qwen3.6 - dsv4pro - glm - sft - 55xh - rl - coding - lynn-style-dense - gguf --- # Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding > Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding - Merkyor 在 ModelScope 开源的模型。Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding Merkyor/Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding 是 ModelScope 魔搭社区上的 26.9B 参数机器学习模型，采用 other 许可，基于 Merkyor/Qwen3.6-27B-DSV4Pro-Thinking-Distill 构建。 - **Repository**: Merkyor/Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding - **License**: other - **Parameters**: 26.9B - **Base model**: Merkyor/Qwen3.6-27B-DSV4Pro-Thinking-Distill - **Tags**: qwen3.6, dsv4pro, glm, sft, 55xh, rl, coding, lynn-style-dense, gguf - **Downloads**: 1180 - **Stars**: 3 - **Last updated**: 2026-07-14 Source: https://www.modelscope.cn/models/Merkyor/Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding --- # Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding ![Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding](assets/model_card_hero_ms_lcb_20260714.png) > **GGUF 可加载文件（2026-07-12）** > - Q3、Q4、Q5 均已发布可直接加载的单文件主 GGUF，并附 `SHA256SUMS` 与 `manifest.json`。 > - Q8 保持 llama.cpp 标准多分片；选择 `00001-of-00005.gguf` 后会自动加载其余分片。 > - `*-draft*.gguf` 是可选 MTP sidecar，不是主模型；LM Studio 与通用图形启动器只选择 `GGUF/<档位目录>/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-<档位>-LynnStyle.gguf`。 本仓是 BF16 主仓：根目录放 BF16 权重；`FP8/` 和 `GGUF/` 是主仓内的附加运行产物目录。独立运行仓与主仓子目录见： - [FP8 独立仓：Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-FP8](https://modelscope.cn/models/Merkyor/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-FP8) - [本主仓 FP8 子目录](https://modelscope.cn/models/Merkyor/Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding/files?Path=FP8) - [ModelScope GGUF 独立仓：Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-GGUF](https://modelscope.cn/models/Merkyor/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-GGUF) - [本主仓 GGUF 子目录](https://modelscope.cn/models/Merkyor/Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding/files?Path=GGUF) 本模型基于 `Merkyor/Qwen3.6-27B-DSV4Pro-Thinking-Distill` 继续后训练，重点强化可执行代码、闭环修复、验证纪律与推理效率，同时保持 MMLU/GPQA 基础能力稳定。 > 公开指标使用完整 clean 结果；量化版请以 GGUF 仓模型卡和各量化目录下的 `eval/*.summary.json` 为准。 本仓用于放置 BF16 根目录权重，并在 `FP8/`、`GGUF/` 子目录保留可直接下载的运行产物。主仓内当前同步 `GGUF/Q8_0/`、`GGUF/Q5_LynnStyle/`、`GGUF/Q4_LynnStyle/`、`GGUF/Q3_LynnStyle/`；更多 GGUF 档位以独立 GGUF 仓为准。各量化目录附带 LynnStyle Dense 保护规则、manifest、SHA、MTP/TPS 与测评记录。 主仓地址：[Merkyor/Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding](https://modelscope.cn/models/Merkyor/Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding/files) 配套 Lynn Agent 客户端与工程入口：[GitHub · LynnMerkyor/Lynn](https://github.com/LynnMerkyor/Lynn) ## 先看这里：应该下载哪个目录？ - `GGUF/Q3_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q3-LynnStyle.gguf`：Q3 低显存档，完整单文件；GGUF 解析与 Spark bare/MTP 加载生成 smoke 均通过。 - `GGUF/Q3_LynnStyle/Q3-imatrix-MTP-draft.gguf`：Q3 可选 MTP sidecar，仅供 llama.cpp `--model-draft`。 - `GGUF/Q4_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q4-LynnStyle.gguf`：Q4 24GB 主流档，完整单文件。 - `GGUF/Q4_LynnStyle/Q4-imatrix-MTP-draft.gguf`：Q6_K 高接受率 MTP sidecar；`Q4-imatrix-MTP-draft-q4.gguf` 是低显存备选。 - `GGUF/Q5_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q5-LynnStyle.gguf`：Q5 32GB 高质量档，完整单文件。 - `GGUF/Q5_LynnStyle/Q5-imatrix-MTP-draft.gguf`：Q5 可选 MTP sidecar。 - `GGUF/Q8_0/`：标准 GGUF 多分片 Q8；加载 `00001-of-00005.gguf`。 LM Studio、llama.cpp Windows Manager 等图形启动器只选择完整主文件，不要把 MTP sidecar 当主模型。 ## 当前档位 | 显存 | 档位 | 状态 | 说明 | |---:|---|---|---| | 16GB | Q3 LynnStyle Dense | **单文件已验证** | 严格 16GB 环境优先只加载主模型并按显存调整上下文；MTP 需要额外余量。 | | 24GB | Q4 LynnStyle Dense | **单文件已验证** | LM Studio/通用启动器直接加载完整主 GGUF。 | | 32GB | Q5 LynnStyle Dense | **单文件已验证** | 完整主 GGUF 与可选 MTP 均已发布。 | | 48GB+ | Q8_0 | 已发布 | 保持 llama.cpp 标准 GGUF 多分片。 | ## llama.cpp 启动示例 通用图形客户端只加载主模型。Q3 bare 示例： ```bash llama-server \ -m GGUF/Q3_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q3-LynnStyle.gguf \ -ngl 999 -c 8192 -b 1024 -ub 256 -np 1 \ --host 0.0.0.0 --port 8080 \ --jinja --reasoning on --reasoning-format deepseek ``` Q3 单流 MTP 示例： ```bash llama-server \ -m GGUF/Q3_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q3-LynnStyle.gguf \ --model-draft GGUF/Q3_LynnStyle/Q3-imatrix-MTP-draft.gguf \ -ngl 999 --split-mode layer \ -c 8192 -b 1024 -ub 256 -t 16 -np 4 -cb \ --spec-type draft-mtp \ --spec-draft-n-max 3 \ --spec-draft-p-min 0.6 \ --host 0.0.0.0 --port 8080 \ --jinja --reasoning on --reasoning-format deepseek ``` 推荐：Q3 C1 用 MTP `n=3`；Q4 C1/C2 用 `n=2`；Q5 C1 用 `n=3`、C2 用 `n=4`。C4 吞吐优先使用 bare。长上下文或多并发也优先 bare。 ## FP8 / SGLang FP8 目录位于 [`FP8/`](https://modelscope.cn/models/Merkyor/Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding/files?Path=FP8)，独立仓位于 [Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-FP8](https://modelscope.cn/models/Merkyor/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-FP8)。 FP8 / SGLang 推荐配置： ```bash bash FP8/scripts/sglang_fp8_start.sh MTP=1 bash FP8/scripts/sglang_fp8_start.sh ``` `MTP=1` 默认参数：`NEXTN, steps=3, draft_tokens=2, accept_threshold_single=0.6`。 | 配置 | TPS | 说明 | |---|---:|---| | no-MTP C1 | 8 tok/s | baseline | | no-MTP C2 | 15 tok/s | baseline | | no-MTP C4 | 30 tok/s | baseline | | MTP/NEXTN C1 | 14 tok/s | +87%, best gain | | MTP/NEXTN C2 | 27 tok/s | +80% | | MTP/NEXTN C4 | 53 tok/s | +78%, fastest | 推荐配置在 C1/C2/C4 都更快；当前最快是 C4 + MTP/NEXTN。摘要文件：`FP8/eval/spark_sglang_mtp_cmatrix_20260708.json`。 FP8 未单独重跑四项质量测评；质量表引用 Q8 等价量化的 clean 成绩，具体以 FP8 仓模型卡说明为准。 ## Q8 全量门禁 > 缩写说明：`LCB` 是 `LiveCodeBench` 的缩写。 | 指标 | 分数 | 说明 | |---|---:|---| | MMLU500 | 462/500 = 92.4% | 通识底座 | | GPQA198 | 162/198 = 81.82% | 高难推理 | | LCB100 | 78/100 | 算法代码 | | Coding100 current clean | 88/100 | 多语言代码 | Coding100 分语言：Python 9/10、JavaScript 6/10、TypeScript 7/10、Rust 9/10、Go 8/10、C++ 10/10、SQL 10/10、Bash 9/10、CSS 10/10、HTML 10/10。 LCB100 难度拆分：easy 23/23、medium 30/31、hard 25/46。 ## 横向 clean 测评对照 这里只列完整 clean 结果。出现 harness 污染的题目按原始 id 单题补测并合并后再发布，不把污染行计入模型得失分。 | 版本 | MMLU500 | GPQA198 | LCB100 | Coding100 | |---|---:|---:|---:|---:| | Qwen3.6-27B 官方原版 Q8 | 91.6% | 73.7% | 68/100 | 83/100 | | DSV4Pro 蒸馏版 Q8 | 91.8% | 80.81% | 74/100 | 86/100 | | 本轮 RL-2 Q8 | 92.4% | 81.82% | 78/100 | 88/100 | | Q5 LynnStyle | 92.2% | 78.79% | 75/100 | 81/100 | | Q4 LynnStyle | 92.0% | 74.75% | 71/100 | 82/100 | | Q3 LynnStyle | 91.4% | 77.27% | 69/100 | 84/100 | 官方原版 Q8 LCB100 clean：`68/100`，难度拆分 easy `23/23`、medium `27/31`、hard `18/46`。其中 3 条 JSONDecodeError 污染行按 exact id 非流式单题补测，三题均通过，最终 `errors=0`。 DSV4Pro 蒸馏版 Q8 LCB100 clean：`74/100`，难度拆分 easy `23/23`、medium `25/31`、hard `26/46`，`errors=0`。 ## LynnStyle Dense 量化口径 27B 是 Dense，不存在 MoE expert，但它仍然不是全层同质。Qwen3.6 27B 有混合注意力结构：full-attention 层约每 4 层出现一次，其他层更多是 linear attention / SSM 路径。LynnStyle Dense 的保护单位是： - layer position - attention pattern - tensor family Q2/Q3/Q4/Q5/Q8 都按 LynnStyle Dense 分层设计：关键层、full-attention、attention gate、SSM 与重要 tensor family 保精度，普通层再按档位压缩。Q5/Q4/Q3/Q2 低于 Q8 的档位必须做 imatrix 或等价重要度校准；Q5/Q4 给完整公开门禁，Q3/Q2 是低配/实验档，至少必须通过加载与基础 smoke，质量按实记录。 以 Q5 LynnStyle Dense 为例，它不是“普通 Q5_K_M + imatrix”。实际规则是： | 保护区 | 精度策略 | 命中 tensor | |---|---|---:| | L0-L3 early layers | `q8_0` 硬保护 | 47 | | L60-L63 last layers | `q8_0` 硬保护 | 47 | | L56-L59 shoulder | `q6_k` 保护 | 47 | | 中间 full-attention q/k/v/o | `q5_k` 保护 | 52 | | 中间 linear-attention gate | `q5_k` 保护 | 39 | | 中间 linear-attention qkv | `q5_k` 保护 | 39 | | 中间 SSM tensor family | `q5_k` 保护 | 195 | 也就是说，LynnStyle Dense 的低比特档位必须同时满足两件事：**显式核心层/关键张量高精度保护 + imatrix 重要度校准**。只做 direct quant，或者只靠 imatrix 而没有核心层保护，都不算最终 LynnStyle 发布档。 测评 summary 必须通过 clean gate：parse fail、server-not-ready、connection refused、API fetch fail、partial rows 这类 harness 污染一律不计分、不发布。 ## Q5 LynnStyle 门禁状态 | 指标 | Q5 LynnStyle | 状态 | |---|---:|---| | MMLU500 | 461/500 = 92.2% | clean | | GPQA198 | 156/198 = 78.79% | clean | | LCB100 | 75/100 | clean | | Coding100 current clean | 81/100 | clean | Q5 是 32GB 甜点档：目标不是比 Q8 更强，而是在 32GB 机器上尽量沿着 Q8 质量曲线下降，同时避免普通低比特量化常见的空答、length、parse 和收口崩坏。 Q5 Coding100 current clean：81/100，分语言为 Python 9/10、JavaScript 5/10、TypeScript 8/10、Rust 8/10、Go 5/10、C++ 8/10、SQL 9/10、Bash 9/10、CSS 10/10、HTML 10/10；3 个 timeout id 已按 exact id 补测并合并，API error 为 0。 ## Q4 LynnStyle 已完成门禁 Q4 是 24GB 主流档。主模型面向 24GB 显存；如果要跑 16K/24K 长上下文，请只加载 Q4 主模型，不要加载 MTP sidecar。Q4 MTP sidecar 是短上下文、低并发、显存有余时的可选加速件，不是必需文件。当前 clean gate： | 指标 | Q4 LynnStyle | 状态 | |---|---:|---| | MMLU500 | 460/500 = 92.0% | clean | | GPQA198 | 148/198 = 74.75% | clean | | LCB100 | 71/100 | clean | | Coding100 current clean | 82/100 | clean | **Q4 clean gate 摘要** - GPQA198：缺失题 resume 后合并，`dirty=0`、`parse_fail=0`、`empty_prediction=0`、`duplicate_ids=0`；finish reason 为 `stop=197`、`length=1`。 - 文件完整性：主模型分片、Q4 MTP sidecar、manifest、SHA 与 clean gate 记录均已补齐。 **Q4 LCB100 拆分** | 难度 | 通过 | |---|---:| | easy | 23/23 | | medium | 27/31 | | hard | 21/46 | 失败形态：wrong answer `20`、runtime error `4`、timeout `5`；无 harness / JSONDecode / parse 污染。 **Q4 Coding100 语言拆分** | 语言 | 得分 | 语言 | 得分 | |---|---:|---|---:| | Python | 9/10 | JavaScript | 6/10 | | TypeScript | 9/10 | Rust | 7/10 | | Go | 6/10 | C++ | 7/10 | | SQL | 10/10 | Bash | 8/10 | | CSS | 10/10 | HTML | 10/10 | API error：`0`。 ## Q4 / Q3 llama.cpp 运行矩阵 TPS 取整，接受率以百分比显示。C1/C2/C4 表示并发数；结果来自同一套 llama.cpp harness。 **Q4 LynnStyle** | 模式 | C1 | C2 | C4 | |---|---:|---:|---:| | bare | 59 TPS | 76 TPS | **116 TPS** | | 最佳 MTP | n=2：75 TPS（91%） | n=2：82 TPS（93%） | n=3：83 TPS（89%） | 最佳档位：**C4 bare，116 TPS**。低并发延迟优先时，C1/C2 使用 MTP `n=2`。 **Q3 LynnStyle** | 并发 | bare | MTP n=2 | MTP n=3 | MTP n=4 | 推荐 | |---|---:|---:|---:|---:|---| | C1 | 15 TPS | 22 TPS（86%） | 23 TPS（84%） | 23 TPS（81%） | **MTP n=3**，较 bare 约 +53% | | C2 | 28 TPS | 28 TPS（86%） | 28 TPS（84%） | 27 TPS（81%） | **MTP n=2**，取整后与 bare 同速 | | C4 | 49 TPS | 29 TPS（86%） | 30 TPS（84%） | 30 TPS（81%） | **bare** | Q3 单请求延迟优先推荐 MTP `n=3`；C2 的 MTP 最优选择为 `n=2`，但取整吞吐与 bare 持平；C4 吞吐优先使用 bare。严格 16GB 或长上下文也优先只加载 Q3 主模型。 # --- ## English Summary > **Loadable GGUF files (2026-07-12)** > - Q3, Q4, and Q5 now provide directly loadable single-file main GGUFs with `SHA256SUMS` and `manifest.json`. > - Q8 remains a valid llama.cpp standard split; select `00001-of-00005.gguf` and the remaining shards load automatically. > - `*-draft*.gguf` files are optional MTP sidecars, not main models. LM Studio and general GUI launchers should select only `GGUF//Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding--LynnStyle.gguf`. This is the ModelScope main repository. BF16 weights are stored at the repository root. FP8 artifacts are available under `FP8/`, and the synchronized GGUF Q8/Q5/Q4/Q3 artifacts are available under `GGUF/`. The standalone FP8 and GGUF repositories are linked near the top of this model card. ## Q4 / Q3 llama.cpp Runtime Matrix TPS is rounded to whole numbers and acceptance is shown as a percentage. C1/C2/C4 denote concurrency; all rows use the same llama.cpp harness. **Q4 LynnStyle** | Mode | C1 | C2 | C4 | |---|---:|---:|---:| | bare | 59 TPS | 76 TPS | **116 TPS** | | best MTP | n=2: 75 TPS (91%) | n=2: 82 TPS (93%) | n=3: 83 TPS (89%) | Best tier setting: **C4 bare, 116 TPS**. For lower-concurrency latency, use MTP `n=2` at C1/C2. **Q3 LynnStyle** | Concurrency | bare | MTP n=2 | MTP n=3 | MTP n=4 | Recommendation | |---|---:|---:|---:|---:|---| | C1 | 15 TPS | 22 TPS (86%) | 23 TPS (84%) | 23 TPS (81%) | **MTP n=3**, about +53% vs bare | | C2 | 28 TPS | 28 TPS (86%) | 28 TPS (84%) | 27 TPS (81%) | **MTP n=2**, tied with bare after rounding | | C4 | 49 TPS | 29 TPS (86%) | 30 TPS (84%) | 30 TPS (81%) | **bare** | For Q3 single-request latency, use MTP `n=3`. At C2, the best MTP choice is `n=2`, but rounded throughput ties bare. For C4 throughput, use bare. On strict 16GB or long-context setups, load only the Q3 main model first.