---
title: qwen3.5-2b-deepseek-v4-GGUF
canonical_url: "https://www.modelscope.cn/models/jfjijiogkijijg/qwen3.5-2b-deepseek-v4-GGUF"
md_url: "https://www.modelscope.cn/models/jfjijiogkijijg/qwen3.5-2b-deepseek-v4-GGUF.md"
repository: jfjijiogkijijg/qwen3.5-2b-deepseek-v4-GGUF
chinese_name: "qwen3.5-2b-deepseek-v4（pro和flash都有）-GGUF"
last_updated: 2026-09-27
license: apache-2.0
pipeline_tag: text-generation
tasks:
  - text-generation
library_name:
  - gguf
language:
  - zh
  - en
downloads: 1308
stars: 7
tags:
  - qwen
  - qwen3.5
  - deepseek
  - 2b
  - chat
  - code
  - math
  - gguf
  - llama.cpp
  - ollama
---

# qwen3.5-2b-deepseek-v4-GGUF

> qwen3.5-2b-deepseek-v4-GGUF - jfjijiogkijijg 在 ModelScope 开源的模型。基于 Qwen3.5-2B 架构的二次微调衍生模型 qwen3.5-2b-deepseek-v4 的 GGUF 量化版本。上游模型：Jackrong/Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distilled。微调方向：日常对话、数学推理、前后端编程能力增强。量化工具：llama.cpp。本仓库提供 Q3_K_M、Q4_K_M、Q5_K_M、Q8_0…

jfjijiogkijijg/qwen3.5-2b-deepseek-v4-GGUF 是 ModelScope 魔搭社区上的text-generation模型，采用 apache-2.0 许可。

- **Repository**: jfjijiogkijijg/qwen3.5-2b-deepseek-v4-GGUF
- **License**: apache-2.0
- **Tasks**: text-generation
- **Tags**: qwen, qwen3.5, deepseek, 2b, chat, code, math, gguf, llama.cpp, ollama
- **Downloads**: 1308
- **Stars**: 7
- **Last updated**: 2026-09-27

Source: https://www.modelscope.cn/models/jfjijiogkijijg/qwen3.5-2b-deepseek-v4-GGUF

---

# qwen3.5-2b-deepseek-v4-GGUF

本仓库提供 `qwen3.5-2b-deepseek-v4` 的 **GGUF 量化版本**，方便在 llama.cpp、Ollama、LM Studio 等工具中本地部署。

## 原始模型

- **基座模型**：[Qwen/Qwen3.5-2B](https://www.modelscope.cn/models/Qwen/Qwen3.5-2B)
- **上游模型**：[Jackrong/Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distilled](https://modelscope.cn/models/Jackrong/Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distilled)
- **本模型**：基于上游模型进行二次微调，强化日常对话、数学推理和编程能力

## 模型简介

这是一个 **2B 参数**的大语言模型，专注于以下三大能力：

- **日常对话**：风格切换自然，角色扮演和科普解释表现优秀
- **数学推理**：基础逻辑推理良好，能跨越常见陷阱
- **编程**：算法/后端代码生成能力强，前端 HTML/CSS 输出规范

## 量化文件

| 文件名 | 量化类型 | 大小 | 推荐场景 |
| :--- | :--- | :--- | :--- |
| `qwen3.5-2B-deepseek-v4-Q3_K_M.gguf` | Q3_K_M | ~1.02 GB | 内存紧张，追求速度 |
| `qwen3.5-2B-deepseek-v4-Q4_K_M.gguf` | Q4_K_M | ~1.19 GB | 速度与质量平衡 |
| `qwen3.5-2B-deepseek-v4-Q5_K_M.gguf` | Q5_K_M | ~1.31 GB | **推荐日常使用** |
| `qwen3.5-2B-deepseek-v4-Q8_0.gguf` | Q8_0 | ~1.87 GB | 质量优先，显存充裕 |

所有量化文件均使用 [llama.cpp](https://github.com/ggml-org/llama.cpp) 转换生成。

## 能力评估

| 领域 | 表现 | 说明 |
| :--- | :--- | :--- |
| 日常对话 | ⭐⭐⭐⭐ | 风格切换自然，角色扮演和科普解释表现优秀 |
| 数学推理 | ⭐⭐⭐½ | 基础逻辑推理良好，能跨越常见陷阱 |
| 编程-算法/后端 | ⭐⭐⭐⭐⭐ | 代码生成、Debug、Flask API 均达到工业级可用 |
| 编程-前端 HTML/CSS | ⭐⭐⭐⭐⭐ | 语义化、CSS 变量、响应式、动画均出色 |
| 编程-前端 JavaScript | ⭐⭐⭐ | 交互逻辑设计正确，但在 JS 动态生成字符串时偶有引号未闭合的错误 |

## 已知局限（请务必阅读）

### 1. JavaScript 字符串拼接偶发错误

在进行 `textContent`、`innerHTML` 等动态 DOM 操作时，模型可能写出引号未闭合的代码。

**错误示例：**

```javascript
// ❌ 引号未闭合，脚本将崩溃
deleteBtn.textContent = '×</button>;
```

**应修正为：**

```javascript
// ✅ 正确
deleteBtn.textContent = '×';
```

**原因：** 训练数据中缺少足够的 JS 动态字符串生成样本。

### 2. 思维链输出

即使关闭思维链选项，模型仍可能输出较短的思考过程。这是因为训练数据和上游模型均包含思维链数据。

## 使用方法

### llama.cpp / llama-server

```bash
# 以 Q5_K_M 版本为例
./llama-server \
  -m qwen3.5-2B-deepseek-v4-Q5_K_M.gguf \
  -c 8192 \
  -ngl 99
```

### Ollama

创建 `Modelfile`：

```dockerfile
FROM ./qwen3.5-2B-deepseek-v4-Q5_K_M.gguf
TEMPLATE """{{ .System }}
User: {{ .Prompt }}
Assistant:"""
PARAMETER stop "User:"
PARAMETER stop "Assistant:"
```

然后运行：

```bash
ollama create qwen3.5-2b-deepseek-v4 -f Modelfile
ollama run qwen3.5-2b-deepseek-v4
```
##警告！！！ 因为Jackrong/Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distilled](https://modelscope.cn/models/Jackrong/Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distilled训练的是带思维链的模型，再加上我也是使用的带思维链的对话，所以模型即使关闭思考，模型依旧会思考

### LM Studio

1. 下载任意 `.gguf` 文件
2. 在 LM Studio 中点击 "My Models"
3. 将 `.gguf` 文件放入模型目录
4. 刷新后即可选择加载

### Python + llama-cpp-python

```python
from llama_cpp import Llama

llm = Llama(
    model_path="qwen3.5-2B-deepseek-v4-Q5_K_M.gguf",
    n_ctx=8192,
    n_gpu_layers=99,
)

output = llm(
    "请解释一下什么是 API？",
    max_tokens=512,
    temperature=0.7,
)
print(output["choices"][0]["text"])
```

## 训练细节

- **基座模型**：[Jackrong/Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distilled](https://modelscope.cn/models/Jackrong/Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distilled)（License: Apache-2.0）
- **二次微调方向**：日常对话、数学推理、前后端编程能力增强
- **微调框架**：Unsloth
- **训练数据**：约 2000 道前后端编程题 + 日常对话 + 数学推理题，约10000条
- **训练硬件**：NVIDIA RTX 4090 D
- **量化工具**：llama.cpp

## 文件说明

```text
qwen3.5-2b-deepseek-v4-GGUF/
├── README.md                                          # 本文件
├── LICENSE                                            # Apache-2.0 许可证
├── qwen3.5-2B-deepseek-v4-Q3_K_M.gguf                 # Q3_K_M 量化
├── qwen3.5-2B-deepseek-v4-Q4_K_M.gguf                 # Q4_K_M 量化
├── qwen3.5-2B-deepseek-v4-Q5_K_M.gguf                 # Q5_K_M 量化（推荐）
└── qwen3.5-2B-deepseek-v4-Q8_0.gguf                   # Q8_0 量化
```

## 许可证

本仓库采用 [Apache License 2.0](LICENSE) 开源许可。

原始基座模型 `Qwen3.5-2B` 由 Qwen 团队发布，上游模型 `Jackrong/Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distilled` 采用 Apache-2.0 许可证。

## 致谢

感谢 [Qwen](https://www.modelscope.cn/organization/Qwen) 团队发布的 Qwen3.5-2B 基座模型，感谢 [Jackrong](https://modelscope.cn/profile/Jackrong) 发布的蒸馏模型，以及 Unsloth、llama.cpp 等开源项目的贡献者。

如果你发现任何问题、有好玩的用例，或者想反馈 JS 字符串 bug 的具体触发样例，欢迎在模型页面提 Issue。