---
title: Qwen3.5-4B-GGUF-imatrix
canonical_url: "https://www.modelscope.cn/models/Merkyor/Qwen3.5-4B-GGUF-imatrix"
md_url: "https://www.modelscope.cn/models/Merkyor/Qwen3.5-4B-GGUF-imatrix.md"
repository: Merkyor/Qwen3.5-4B-GGUF-imatrix
last_updated: 2026-05-24
license: apache-2.0
pipeline_tag: text-generation
tasks:
  - text-generation
base_model:
  - Qwen/Qwen3.5-4B
base_model_relation: quantized
library_name:
  - gguf
  - llama.cpp
frameworks:
  - llama.cpp
language:
  - zh
  - en
downloads: 134
stars: 0
tags:
  - qwen3.5
  - gguf
  - q4_k_m
  - imatrix
  - llama.cpp
  - lynn
---

# Qwen3.5-4B-GGUF-imatrix

> Qwen3.5-4B-GGUF-imatrix - Merkyor 在 ModelScope 开源的模型。Qwen3.5-4B Q4KM(imatrix 校准) - Lynn 团队量化

Merkyor/Qwen3.5-4B-GGUF-imatrix 是 ModelScope 魔搭社区上的text-generation模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.5-4B 构建。

- **Repository**: Merkyor/Qwen3.5-4B-GGUF-imatrix
- **License**: apache-2.0
- **Tasks**: text-generation
- **Base model**: Qwen/Qwen3.5-4B
- **Tags**: qwen3.5, gguf, q4_k_m, imatrix, llama.cpp, lynn
- **Downloads**: 134
- **Stars**: 0
- **Last updated**: 2026-05-24

Source: https://www.modelscope.cn/models/Merkyor/Qwen3.5-4B-GGUF-imatrix

---

# Qwen3.5-4B Q4_K_M(imatrix 校准) - Lynn 团队量化

本仓库提供 [Qwen/Qwen3.5-4B](https://www.modelscope.cn/models/Qwen/Qwen3.5-4B)
官方 BF16 权重的 **imatrix 校准 Q4_K_M GGUF** 版本，由 Lynn 团队在
DGX Spark(GB10, sm_121) 上构建。

这是上游官方模型的纯量化版，不是蒸馏模型，也不是 Lynn-native NVFP4/W4A8 checkpoint。

## 文件

| 文件 | 大小 | SHA256 | 用途 |
|---|---:|---|---|
| `Qwen3.5-4B-Q4_K_M-imatrix.gguf` | 2.6 GB | `7abaf02bbe25c608deb308db526766f761ad4fb85c512a69ff36520c4b304b23` | llama.cpp / Ollama / LM Studio GGUF 权重 |
| `Qwen3.5-4B.imatrix` | 3.5 MB | `863a93c58a14925b58303a369d9bb155411b40d52fde121f195eaf7a6691f07c` | 本次 Q4_K_M 量化使用的 imatrix 校准数据 |

## 构建细节

- 源权重：`Qwen/Qwen3.5-4B` 官方 BF16
- 转换：`llama.cpp convert_hf_to_gguf.py --outtype f16`
- 校准：Lynn 中文 + 英文 + 代码混合语料，256 chunks，512 ctx
- 量化：`llama-quantize --imatrix Qwen3.5-4B.imatrix ... Q4_K_M`
- 构建机器：DGX Spark(GB10, sm_121)，2026-05-24

## 评测

V8/V9、MMLU500、GPQA Diamond thinking-on 评测正在 Spark 后台运行；分数和测试数据将在后续提交补充。

## 运行

```bash
llama-server \
  -m Qwen3.5-4B-Q4_K_M-imatrix.gguf \
  --host 0.0.0.0 --port 18099 \
  --ctx-size 32768 --n-gpu-layers 999 \
  --jinja --reasoning on
```

GGUF 内嵌上游 Qwen3.5 chat template，支持通过 `chat_template_kwargs.enable_thinking` 控制 thinking 模式。

## 许可证

Apache 2.0，继承自上游 [Qwen/Qwen3.5-4B](https://www.modelscope.cn/models/Qwen/Qwen3.5-4B)。