---
title: Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill
canonical_url: "https://www.modelscope.cn/models/Merkyor/Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill"
md_url: "https://www.modelscope.cn/models/Merkyor/Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill.md"
repository: Merkyor/Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill
chinese_name: "Qwen3.6-35B-A3B DS-V4-Pro thinking-on 思维方式蒸馏"
last_updated: 2026-06-26
license: apache-2.0
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - qwen3_5_moe
architectures:
  - Qwen3_5MoeForConditionalGeneration
base_model:
  - Qwen/Qwen3.6-35B-A3B
base_model_relation: quantized
parameters: 37.0B
tensor_type:
  - BF16
library_name:
  - safetensors
  - gguf
  - pytorch
frameworks:
  - pytorch
language:
  - zh
  - en
downloads: 1938
stars: 12
tags:
  - qwen3
  - moe
  - distillation
  - reasoning
  - thinking
  - agentic
---

# Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill

> Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill - Merkyor 在 ModelScope 开源的模型。Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill

Merkyor/Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill 是 ModelScope 魔搭社区上的 37.0B 参数text-generation模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.6-35B-A3B 构建。

- **Repository**: Merkyor/Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill
- **License**: apache-2.0
- **Tasks**: text-generation
- **Parameters**: 37.0B
- **Base model**: Qwen/Qwen3.6-35B-A3B
- **Tags**: qwen3, moe, distillation, reasoning, thinking, agentic
- **Downloads**: 1938
- **Stars**: 12
- **Last updated**: 2026-06-26

Source: https://www.modelscope.cn/models/Merkyor/Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill

---

# Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill

> 在 **Qwen3.6-35B-A3B**(MoE,3B 激活)上,用 LoRA **蒸馏 DeepSeek-V4-Pro 在「思考开启(thinking-on)」时的思维方式 + agentic 行为**。
>
> ⚠️ **与之前的「V4-Pro 蒸馏」版本区分**:上一版蒸的是答案/无思考风格;**这一版蒸的是 thinking-on 的多步推理与自我验证思维方式**——目标是「学会怎么想」,不是蒸知识或扩能力。
>
> 出发点:为 **Lynn Agent** 选/造一个「编排器」——能**快速 拆分→分派→验收**任务、且**不乱报完成**的模型。

## 训练配置(如实披露)/ Training details
- **基座 Base**:Qwen3.6-35B-A3B(**BF16** 基座;bnb-4bit 在该 MoE 结构上不可用,故未走 4-bit)
- **方法 Method**:**LoRA**,**r = 64,α = 128,dropout = 0.05**,target = 全部注意力 + MLP 投影(q/k/v/o_proj、gate/up/down_proj 等)
- **优化**:paged_adamw_8bit,cosine LR,warmup 0.03,**约 1 epoch**
- **Teacher**:DeepSeek-V4-Pro
- **数据 Data**:**1842 条蒸馏样本**(DS-V4-Pro 的 thinking-on `<think>` 多步推理轨迹 + agentic 工具调用轨迹,Lynn 工程域)
- **产物**:合并 → BF16 safetensors → Q4_K_M-imatrix gguf

## 方法非自创,是公开技术的组合(如实归因)/ Attribution
- **ReAct**(推理+行动交替):Yao et al., **2022**, arXiv:2210.03629(ICLR 2023)
- **Self-Instruct / Baize 自对话数据**:Wang et al., 2022;Xu et al., 2023, arXiv:2304.01196
- **AgentTuning**:Zeng et al., 2023, arXiv:2310.12823
- **ToolBench / ToolLLM**:Qin et al., 2023, arXiv:2307.16789
- **DeepSeek-R1 推理蒸馏**:DeepSeek-AI, 2025, arXiv:2501.12948

## 评测:同一 harness,thinking-on,**Q4_K_M GGUF(imatrix)**,vs 原版 Qwen3.6-35B-A3B
| 维度 | 本模型(蒸馏) | 原版 base | Δ |
|---|---|---|---|
| MMLU-500 (5-shot) | **90.2%** | 91.4% | -1.2 |
| GPQA-Diamond-198 | **80.3%**(32K) | 72.7% | **+7.6** |
| 编排成功 (20 复杂任务) | 19/20 | 20/20 | -1 |
| 编排 false-verify(自报≠真实) | **0/20** | 0/20 | 0 |
| GPQA 未收口空答 (parse_fail) | **1** | 12 | **-11** |

**解读**:知识广度基本不变(MMLU 持平),**硬推理显著提升(GPQA +7.6pp)**,且**「想完就收口」—— GPQA 未收口的空答从 12 降到 1**。这正是 thinking-on 思维方式被学到的标志:推理更果断、能终止、能自我验证(编排 **0 假验证**)。

## 评测口径 / Eval protocol
thinking-on;**评测精度 = Q4_K_M GGUF(imatrix),蒸馏与原版同口径**;**temp 0.6 / top_p 0.95**(thinking 模型必需,greedy 会重复死循环);max_tokens 30000;read-timeout 600s;MMLU 抽取器对「few-shot 序列回显」做了「取最终字母」修正,且**同口径作用于所有对比模型**。

## 局限 / Limitations
agentic 轨迹部分来自**模拟环境**(sim-to-real gap);评测为**同一 harness 内部对比**,数值**不可直接对标官方榜单**(官方 BF16 thinking-on:MMLU-Pro 85.2 / GPQA 86.0,口径不同)。

## 文件 / Files
- `*.safetensors` — BF16 合并权重(SGLang / vLLM / transformers)
- `gguf/*-Q4_K_M-imatrix.gguf` — llama.cpp 量化(~20G,单流最快)

## 推理 / Inference
thinking-on,务必 `temp=0.6, top_p=0.95`(切勿 greedy)。llama.cpp 用 Q4_K_M gguf + `--jinja`;SGLang/vLLM 用 safetensors。

## MTP 投机解码 / MTP speculative decoding

**BF16 / FP8 safetensors 及 GGUF 全四档(Q4/Q5/Q6/Q8)均已内置原生 nextn MTP 头。**

**safetensors(vLLM / SGLang)**:传入 `--speculative-config '{"method":"mtp","num_speculative_tokens":3}'` 启用。SGLang 实测 accept 0.71–0.87;FP8 单流 base 51 → MTP 65 t/s(~1.25×)。⚠️ A3B 为稀疏模型,单流增益受密度定律限制(远低于 dense 27B 的 ~2×)。

**GGUF(llama.cpp,全四档焊 MTP + imatrix 校正)**:需 mainline llama.cpp + `--spec-type draft-mtp --spec-draft-n-max 3` 启用。DGX Spark GB10 单流实测(server 多请求均值):

| 量化档 | base t/s | MTP t/s | 加速 |
|--------|---------|--------|------|
| Q4_K_M | 79.2 | 86.3 | 1.09× |
| Q5_K_M | 73.0 | 88.0 | 1.20× |
| Q6_K | 66.0 | 75.2 | 1.14× |
| Q8_0 | 49.8 | 81.2 | 1.63× |

> base 越慢(档位越大)MTP 增益越大。⚠️ **LM Studio / Ollama / Jan 等 GUI 暂不支持嵌入式 nextn MTP**(其"投机解码"功能挂的是独立 draft 模型),加载后以 base 模式运行(可正常使用,无 MTP 加速);MTP 加速仅在 mainline llama.cpp CLI 启用 `--spec-type draft-mtp` 时生效。

Both **BF16/FP8 safetensors and all four GGUF quants (Q4/Q5/Q6/Q8)** bundle the native nextn MTP head.
- **safetensors (vLLM/SGLang)**: enable via `--speculative-config '{"method":"mtp","num_speculative_tokens":3}'` (SGLang-measured accept 0.71–0.87; FP8 single-stream 51→65 t/s, ~1.25×). A3B is sparse, so single-stream gain is bounded by the density law (far below dense 27B's ~2×).
- **GGUF (llama.cpp)**: needs mainline llama.cpp + `--spec-type draft-mtp --spec-draft-n-max 3`. Spark GB10 single-stream (server multi-request avg): Q4_K_M 79.2→86.3 (+9%) / Q5_K_M 73.0→88.0 (+20%) / Q6_K 66.0→75.2 (+14%) / Q8_0 49.8→81.2 (+63%) — the slower the base quant, the larger the MTP gain.
- ⚠️ **LM Studio / Ollama / Jan and most GUIs don't support the embedded nextn MTP** (their "speculative decoding" attaches a separate draft model) — the GGUF loads and runs in base mode (works, no MTP speedup). MTP only applies with mainline llama.cpp CLI `--spec-type draft-mtp`.