---
title: Qing-Sec-20B-Qwen3.8-27B-Slim-GGUF
canonical_url: "https://www.modelscope.cn/models/hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim-GGUF"
md_url: "https://www.modelscope.cn/models/hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim-GGUF.md"
repository: hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim-GGUF
last_updated: 2026-09-12
library_name:
  - gguf
downloads: 103
stars: 0
---

# Qing-Sec-20B-Qwen3.8-27B-Slim-GGUF

> Qing-Sec-20B-Qwen3.8-27B-Slim-GGUF - hcnote 在 ModelScope 开源的模型。Qing-Sec-20B GGUF 量化版

- **Repository**: hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim-GGUF
- **Downloads**: 103
- **Stars**: 0
- **Last updated**: 2026-09-12

Source: https://www.modelscope.cn/models/hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim-GGUF

---

# Qing-Sec-20B GGUF 量化版

Qing-Sec-20B(青卫·安全大模型)的 llama.cpp GGUF 量化版本。基座 Qwen3.8-27B → 结构化剪枝 19.29B → 网络安全领域微调,由**新疆幻城网安科技有限责任公司**出品。

👉 完整模型卡(训练过程、评测结果、已知问题、致谢)请看主仓库:[hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim](https://modelscope.cn/models/hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim)

## 量化版本

| 文件 | 量化 | 体积(约) | 建议 |
|---|---|---|---|
| Qing-Sec-20B-f16.gguf | F16 | 38.6 GB | 全精度基准 |
| Qing-Sec-20B-Q8_0.gguf | Q8_0 | 20.6 GB | 近无损,显存够首选 |
| Qing-Sec-20B-Q6_K.gguf | Q6_K | 16 GB | 质量/体积均衡 |
| Qing-Sec-20B-Q5_K_M.gguf | Q5_K_M | 13.7 GB | 推荐日常使用 |
| Qing-Sec-20B-Q4_K_M.gguf | Q4_K_M | 11.5 GB | 最常用性价比档 |
| Qing-Sec-20B-Q3_K_M.gguf | Q3_K_M | 9 GB | 低资源,质量有损 |
| Qing-Sec-20B-IQ4_XS.gguf | IQ4_XS | 10.5 GB | 高压缩比 |

(以实际上传文件为准)

## 运行时版本要求(重要)

本模型为 Qwen3.5 混合架构(qwen35,线性注意力+全注意力混合)。**请使用 2026-09 之后的 llama.cpp 构建**(master 包含 QWEN35 运行时支持,编译日期晚于 2026-09-11 即可)。旧版 llama.cpp / 未更新架构表的 Ollama / LM Studio 会报 `unknown architecture` 或 `blk.44 not found`,请先升级运行时。

> 2026-09-12 修复说明:早期上传的 GGUF 文件头部元数据错误地标注了 45 层(实际 44 层),导致所有运行时报错。现已全部修正,请重新下载。已下载旧文件的用户可用任意 GGUF 工具将 `qwen35.block_count` 改为 44、`qwen35.attention.recurrent_layers` 长度改为 44、`qwen35.nextn_predict_layers` 改为 0。

## 使用方法

```bash
# llama.cpp / llama-server(需新版构建)
./llama-cli -m Qing-Sec-20B-Q4_K_M.gguf --temp 0 -c 8192
./llama-server -m Qing-Sec-20B-Q4_K_M.gguf --port 8080 -c 8192
```

ollama / LM Studio 等支持 GGUF 的运行时,在其架构表更新 qwen35 后方可导入。

**重要:推理请务必启用重复惩罚** `-rep-penalty 1.1`(或采样 `--temp 0.6 --top-p 0.8`),贪心裸解码偶发重复循环,详见主仓库模型卡"贪心解码死循环"专题。

## 用途限制

仅限授权安全测试、防御研究、安全教学等合法用途。详细条款见主仓库。

## 联系我们

- 官网 https://hcnote.cn · 公益安全网关 https://api.hcnsec.cn/ · QQ 群 253193620
- 特别感谢:新疆农业职业技术大学、新疆财经大学、新疆大学、新疆瞬知云科人工智能有限公司,以及 hcnote.cn 全体免费用户