---
title: Qwen3.6-35B-A3B-GGUF-imatrix
canonical_url: "https://www.modelscope.cn/models/Merkyor/Qwen3.6-35B-A3B-GGUF-imatrix"
md_url: "https://www.modelscope.cn/models/Merkyor/Qwen3.6-35B-A3B-GGUF-imatrix.md"
repository: Merkyor/Qwen3.6-35B-A3B-GGUF-imatrix
chinese_name: "Qwen3.6-35B-A3B Q4_K_M imatrix(Lynn 校准版)"
last_updated: 2026-05-21
license: apache-2.0
pipeline_tag: text-generation
tasks:
  - text-generation
base_model:
  - Qwen/Qwen3.6-35B-A3B
base_model_relation: quantized
library_name:
  - gguf
  - llama.cpp
frameworks:
  - llama.cpp
language:
  - zh
  - en
downloads: 421
stars: 0
tags:
  - qwen3.6
  - moe
  - a3b
  - gguf
  - q4_k_m
  - imatrix
  - llama.cpp
  - lynn
---

# Qwen3.6-35B-A3B-GGUF-imatrix

> Qwen3.6-35B-A3B-GGUF-imatrix - Merkyor 在 ModelScope 开源的模型。Qwen3.6-35B-A3B Q4KM(imatrix 校准)— Lynn 量化

Merkyor/Qwen3.6-35B-A3B-GGUF-imatrix 是 ModelScope 魔搭社区上的text-generation模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.6-35B-A3B 构建。

- **Repository**: Merkyor/Qwen3.6-35B-A3B-GGUF-imatrix
- **License**: apache-2.0
- **Tasks**: text-generation
- **Base model**: Qwen/Qwen3.6-35B-A3B
- **Tags**: qwen3.6, moe, a3b, gguf, q4_k_m, imatrix, llama.cpp, lynn
- **Downloads**: 421
- **Stars**: 0
- **Last updated**: 2026-05-21

Source: https://www.modelscope.cn/models/Merkyor/Qwen3.6-35B-A3B-GGUF-imatrix

---

# Qwen3.6-35B-A3B Q4_K_M(imatrix 校准)— Lynn 量化

本仓库提供 [Qwen/Qwen3.6-35B-A3B](https://www.modelscope.cn/models/Qwen/Qwen3.6-35B-A3B)
官方权重的 **imatrix 校准 Q4_K_M GGUF** 量化版本,由 Lynn 在
DGX Spark(GB10,sm_121)上构建并验证。

> **不是蒸馏版本**。本仓库是 **Qwen3.6-35B-A3B 官方 post-train** 权重的纯量化版,
> **不**派生自 Lynn V4-Pro / V4-Flash 蒸馏线 — 那是 Lynn 自己的另两条产品线,有独立 model card。

## 质量

**2026-05-18** 在 DGX Spark sm_121 上对照官方 BF16 跑分,三档统一同 decode 设置。

| 版本 | 大小 | MMLU 500(5-shot)| GPQA Diamond 198(0-shot)|
|---|---:|---:|---:|
| Qwen3.6-35B-A3B **BF16(官方上游)** | 67 GB | **86.40%**(432/500)| 45.45%(90/198)|
| **Qwen3.6-35B-A3B Q4_K_M(本仓库,imatrix)— thinking off** | **20 GB** | **83.00%**(415/500)| **50.00%**(99/198)|
| **Qwen3.6-35B-A3B Q4_K_M(本仓库,imatrix)— thinking on (32K)** | **20 GB** | **90.40%**(452/500)| **80.70%** excl_pf(92/198 原始 · parse_fail 84/198)|
| Qwen3.6-35B-A3B W4A16 NVFP4(Lynn-native,单独仓库)| 23 GB | 84.40%(422/500)| 49.49%(98/198)|

> **thinking-on (32K)** 行是 **Lynn 桌面客户端默认口径**(5/20 战略 pivot 落地后)。
> `excl_pf` 排除 84/198 长思考样本(主要为 Organic Chemistry),它们在 32K token 预算
> 耗尽前未给出可解析的最终选项。这是 max_tokens 上限问题,**不是**模型能力上限。

**核心结论**:体积压到 BF16 的 30%,thinking-off MMLU 只掉 **−3.4pp**;GPQA 实际反升 **+4.55pp**,
明显高于评测噪声。开启 **thinking-on (32K)** 后,同款 Q4_K_M 跑出 **MMLU 90.40%** /
**GPQA Diamond excl_pf 80.70%** — 这是日常客户端体验数字。**质量线完整保住**。

> 本仓库是 **Qwen3.6 原版**,以上数字不能与 Lynn V4-Pro / V4-Flash 蒸馏线混比 —
> 蒸馏版有独立的 model card 与自己的测评。

## 单流推理速度(DGX Spark,sm_121)

| 框架 | 单流 TPS(300 tok)|
|---|---:|
| `llama.cpp:server-cuda` × 本 Q4_K_M | **~70 TPS** |
| SGLang `dev-cu13` × 官方 BF16 | ~30 TPS |

在 Spark 上,**本 Q4_K_M 暂时是单流吞吐最高的部署形态**,常驻仅 20 GB。

## 仓库内容

| 文件 | 大小 | 用途 |
|---|---:|---|
| `Qwen3.6-35B-A3B-Q4_K_M-imatrix.gguf` | 20 GB | GGUF 权重,可直接用于 `llama.cpp` / Ollama / LM Studio |
| `Qwen3.6-35B-A3B.imatrix` | 192 MB | 量化时使用的 imatrix 校准数据(可复现)|
| `README.md` | 本文件 | 模型卡 |

## 使用方法

### llama.cpp server(OpenAI 兼容)

```bash
docker run -d --gpus all --ipc=host --shm-size=8g -p 18002:18002 \
  -v $(pwd)/Qwen3.6-35B-A3B-GGUF-imatrix:/models \
  ghcr.io/ggml-org/llama.cpp:server-cuda \
  -m /models/Qwen3.6-35B-A3B-Q4_K_M-imatrix.gguf \
  --host 0.0.0.0 --port 18002 \
  --n-gpu-layers 999 --ctx-size 4096 --parallel 1 \
  --alias Qwen3.6-35B-A3B-Q4_K_M

curl http://127.0.0.1:18002/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "Qwen3.6-35B-A3B-Q4_K_M",
  "messages": [{"role": "user", "content": "你好"}]
}'
```

### Ollama

```bash
ollama create qwen36-q4km -f Modelfile
ollama run qwen36-q4km
```

(`Modelfile` 模板见 [Lynn engine 官网](https://engine.merkyorlynn.com)。)

### LM Studio / KTransformers

直接加载 GGUF 文件即可。chat template 已 embed 在 GGUF metadata 里,
与 Qwen3.6 官方行为一致(默认开 thinking 模式)。

## 量化细节

- **校准语料**:中文 + 英文 + 代码混合(可复现的激活统计见 `Qwen3.6-35B-A3B.imatrix`)
- **量化工具**:`llama.cpp` Q4_K_M + imatrix 缩放
- **基础权重**:与 `Qwen/Qwen3.6-35B-A3B` sha256 完全一致
- **构建机器**:DGX Spark(GB10),2026-05-18

## 许可证

Apache 2.0,继承自上游 [Qwen/Qwen3.6-35B-A3B](https://www.modelscope.cn/models/Qwen/Qwen3.6-35B-A3B)。

## Lynn 相关产物

- [Lynn 引擎](https://engine.merkyorlynn.com) — Spark / R6000 推理运行时,主线 W4A8 + 自训 MTP
- Lynn W4A16 NVFP4 版 Qwen3.6-35B-A3B — 独立仓库(即将发布)
- Lynn 智能体桌面 app — 独立技术栈,可直接对接上面 OpenAI 兼容 endpoint

## 引用

如在研究或生产中使用,请引用上游 Qwen3.6 并注明本校准版本:

```
@misc{lynn2026qwen36q4km,
  title  = {Qwen3.6-35B-A3B Q4\_K\_M(imatrix),Lynn 校准版},
  author = {Lynn 团队},
  year   = {2026},
  url    = {https://www.modelscope.cn/models/Merkyor/Qwen3.6-35B-A3B-GGUF-imatrix},
}
```