---
title: Qwen3.6-35B-A3B-APEX-MTP-GGUF
canonical_url: "https://www.modelscope.cn/models/Merkyor/Qwen3.6-35B-A3B-APEX-MTP-GGUF"
md_url: "https://www.modelscope.cn/models/Merkyor/Qwen3.6-35B-A3B-APEX-MTP-GGUF.md"
repository: Merkyor/Qwen3.6-35B-A3B-APEX-MTP-GGUF
last_updated: 2026-05-23
license: apache-2.0
pipeline_tag: text-generation
tasks:
  - text-generation
base_model:
  - Qwen/Qwen3.6-35B-A3B
base_model_relation: quantized
library_name:
  - gguf
language:
  - zh
  - en
downloads: 178
stars: 3
tags:
  - qwen
  - qwen3.6
  - qwen3-5-moe
  - moe
  - gguf
  - apex
  - apex-quant
  - i-balanced
  - mtp
  - speculative-decoding
  - llama.cpp
---

# Qwen3.6-35B-A3B-APEX-MTP-GGUF

> Qwen3.6-35B-A3B-APEX-MTP-GGUF - Merkyor 在 ModelScope 开源的模型。Qwen3.6-35B-A3B APEX I-Balanced + Native MTP head(Lynn 推荐 server-grade 本地版)

Merkyor/Qwen3.6-35B-A3B-APEX-MTP-GGUF 是 ModelScope 魔搭社区上的text-generation模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.6-35B-A3B 构建。

- **Repository**: Merkyor/Qwen3.6-35B-A3B-APEX-MTP-GGUF
- **License**: apache-2.0
- **Tasks**: text-generation
- **Base model**: Qwen/Qwen3.6-35B-A3B
- **Tags**: qwen, qwen3.6, qwen3-5-moe, moe, gguf, apex, apex-quant, i-balanced, mtp, speculative-decoding, llama.cpp
- **Downloads**: 178
- **Stars**: 3
- **Last updated**: 2026-05-23

Source: https://www.modelscope.cn/models/Merkyor/Qwen3.6-35B-A3B-APEX-MTP-GGUF

---

# Qwen3.6-35B-A3B APEX I-Balanced + **Native MTP head**(Lynn 推荐 server-grade 本地版)

这是 Qwen3.6-35B-A3B 的 **APEX I-Balanced 量化** + **MTP head 完整保留**版,在 Lynn GB10 Spark 上实测 **think-on 长链 75-85 TPS**(无 MTP baseline ~66 TPS),适合 24GB+ 显存 / 32GB+ 内存的本地高质量推理。

定位:**端侧 35B 主力,质量接近 BF16,MTP 加速 30% 在 thinking 场景**。

English summary: this is the Qwen3.6-35B-A3B model with APEX adaptive-precision MoE quantization (I-Balanced variant) **with the vendor-shipped MTP (Multi-Token Prediction) head preserved** for use with llama.cpp `--spec-type draft-mtp`. Lynn-benchmarked on NVIDIA GB10 Spark (sm_121). Pairs with the lighter Lynn-9B-GGUF-imatrix release for the Lynn 4-quadrant matrix's heavyweight local tier.

## 文件 / Files

| 文件 | 大小 | SHA256 | 备注 |
|---|---:|---|---|
| `Qwen3.6-35B-A3B-APEX-MTP-I-Balanced.gguf` | **24.27 GiB**(26.06 GB)| `9bf7d96bb3a9d363e645dd998aee9e9bff8e016a82aec7ff081e0e6cdb53419e` | APEX I-Balanced 量化 + MTP head(`blk.40.nextn.eh_proj/enorm/hnorm/shared_head_norm`)|

> 量化来源:本仓库 GGUF 来自社区 APEX-quant 流程(adaptive-precision MoE),Lynn **未重新量化**,只做 Spark TPS / 集成验证 + 双语 README + 发布镜像。原始量化产物归属社区 APEX-quant project。

## 为什么选这一档

35B-A3B(35B 总参数 / 3B active expert)是 Qwen 在 2025 端侧推理性价比之王:

- **active 3B params** → decode 速度跟 dense 3-4B 接近(GB10 Spark 单流 60+ TPS)
- **total 35B + 256 experts** → quality 大幅超越同 active 参数 dense 模型
- **APEX I-Balanced** 量化:重要 expert 高精度,边缘 expert 更激进,体积 24GB 适合 32GB+ 内存设备
- **vendor MTP head 保留**:llama.cpp `--spec-type draft-mtp` 自动启用 single-stream speculative decoding,thinking 长链路再 +29%

## TPS 实测 / Throughput Benchmarks

NVIDIA GB10 Spark(sm_121), llama.cpp build-cuda-sm121 commit b1-5d44db6, 2026-05-23。Single-stream decode TPS via llama.cpp built-in `predicted_per_second` timing。

### 本仓库(APEX-MTP,`--spec-type draft-mtp` 启用)

| Scenario | Cap | Tokens generated | Decode TPS | Notes |
|---|---:|---:|---:|---|
| think-off 短答 | 1024 | 628 | **59.70** | typical chat reply(MTP 在短答场景略损耗,见解读)|
| think-off 中长 | 2048 | 1808 | **61.95** | sustained essay |
| **think-on 数学题** | 4096 | 2145 | **84.69** ⭐ | thinking reasoning |
| **think-on 归纳证明** | 16384 | 4213 | **75.53** ⭐ | math proof + Bayesian framing |

### vs 同硬件 APEX no-MTP 基线

| Scenario | APEX no-MTP | APEX-MTP(本仓库)| Δ |
|---|---:|---:|---:|
| think-off 1024 | 66.42 | 59.70 | **-10%** ⚠️(MTP overhead > 收益)|
| think-on 4096 | 65.78 | 84.69 | **+29%** ⭐ |
| think-on 16K | ~65 estimate | 75.53 | **+16%** |

## ⚠️ 何时启用 MTP

**启用**:`thinking_enabled=true` 长链路 reasoning,coding 长输出,长 prompt → +20-30% TPS。

**关闭** (`--spec-type none`):short chitchat / think-off 短答 / tool-call only → MTP 反而 -10%,因为 high-confidence n-gram 命中率低。

Lynn client v0.80+ 会根据 `chat_template_kwargs.enable_thinking` flag 自动 toggle。

## 评测摘要 / Benchmark Summary

Vendor official Qwen3.6-35B-A3B BF16:
- MMLU 5-shot: **86.40**
- GPQA Diamond thinking-on 32K: ~86 (vendor reports)
- AIME / Math: 80+

Lynn 内部 Q4_K_M-imatrix 同模型实测(memory `reference_qwen36_35b_release_numbers_20260519`):
- MMLU 500 thinking-off: **83.00%**
- GPQA Diamond 198 thinking-off: **50.00%**
- thinking-on 32K 数据更高(待补)

APEX-MTP-I-Balanced quality 跟 Q4_K_M-imatrix 同档(都是 ~Q4 bit-depth),MTP head 只加速,不改 quality。

## 本地使用 / Local Usage

```bash
modelscope download --model Merkyor/Qwen3.6-35B-A3B-APEX-MTP-GGUF \
  Qwen3.6-35B-A3B-APEX-MTP-I-Balanced.gguf \
  --local_dir ~/Models/Lynn/Qwen3.6-35B-A3B

llama-server \
  --model ~/Models/Lynn/Qwen3.6-35B-A3B/Qwen3.6-35B-A3B-APEX-MTP-I-Balanced.gguf \
  --host 127.0.0.1 \
  --port 18098 \
  --ctx-size 32768 \
  --parallel 1 \
  --n-gpu-layers 999 \
  --cache-type-k q8_0 --cache-type-v q8_0 \
  --jinja --reasoning auto \
  --spec-type draft-mtp \
  --spec-draft-n-max 4 \
  --flash-attn on
```

**显存预算**:模型 24GB + KV cache(32K ctx, q8_0)~8GB ≈ **32GB GPU/unified mem**。

OpenAI-compatible endpoint:

```text
base_url = http://127.0.0.1:18098/v1
api_key  = local
model    = qwen36-35b-a3b-apex-mtp
```

## MTP 验证 / MTP Verification

llama-server 启动 log 出现以下行确认 MTP active:

```
load_model: creating MTP draft context against the target model
common_speculative_impl_draft_mtp: adding speculative implementation 'draft-mtp'
  n_max=4, n_min=0, p_min=0.00, n_embd=2048, backend_sampling=1
speculative decoding context initialized
```

`n_embd=2048` 是 Qwen3.6-35B-A3B active expert hidden size(9B 同 head 是 `n_embd=4096`)。

## 来源 / Provenance

- **基座 Qwen3.6-35B-A3B**:Alibaba Qwen 团队官方发布,Apache 2.0
- **APEX 量化**:社区 [`mudler/apex-quant`](https://github.com/mudler/apex-quant) "Adaptive Precision for MoE" 流程,I-Balanced variant(重要 expert 高精度 / 边缘 expert 激进)
- **MTP head**:Qwen 官方训练,保留进 GGUF
- **llama.cpp MTP 支持**:upstream `src/models/qwen35moe.cpp` 的 `graph_mtp` 实现
- **Lynn 工作**:Spark TPS benchmark + 集成 + 双语 README + MS/HF 镜像发布

## License

Apache-2.0,inherits from base model `Qwen/Qwen3.6-35B-A3B`. APEX quantized weights distributed under the same Apache 2.0 license per base model terms.

---

*Last updated: 2026-05-23. v1 APEX-MTP release with Lynn TPS benchmarks. Lynn project: https://github.com/MerkyorLynn/Lynn*