---
title: Qing-Sec-20B-Qwen3.8-27B-Slim-INT8
canonical_url: "https://www.modelscope.cn/models/hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim-INT8"
md_url: "https://www.modelscope.cn/models/hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim-INT8.md"
repository: hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim-INT8
last_updated: 2026-09-11
model_type:
  - qwen3_5_text
architectures:
  - Qwen3_5ForCausalLM
parameters: 19.3B
tensor_type:
  - I8
  - F32
  - BF16
library_name:
  - safetensors
downloads: 9
stars: 0
---

# Qing-Sec-20B-Qwen3.8-27B-Slim-INT8

> Qing-Sec-20B-Qwen3.8-27B-Slim-INT8 - hcnote 在 ModelScope 开源的模型。Qing-Sec-20B torchao 量化版(INT8 / INT4 / FP8)

- **Repository**: hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim-INT8
- **Parameters**: 19.3B
- **Downloads**: 9
- **Stars**: 0
- **Last updated**: 2026-09-11

Source: https://www.modelscope.cn/models/hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim-INT8

---

# Qing-Sec-20B torchao 量化版(INT8 / INT4 / FP8)

Qing-Sec-20B(青卫·安全大模型)的 **torchao 权重量化**版本,适配 HuggingFace transformers 原生推理生态(含 vLLM/SGLang 对 torchao 的支持)。基座 Qwen3.8-27B → 结构化剪枝 19.29B → 网络安全领域微调,由**新疆幻城网安科技有限责任公司**出品。

👉 完整模型卡(训练过程、评测结果、已知问题、致谢)请看主仓库:[hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim](https://modelscope.cn/models/hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim)

## 版本矩阵

| 仓库 | 量化类型 | 体积(约) | 说明 |
|---|---|---|---|
| …-INT8 | int8_weight_only | 19.4 GB | 近无损,较 bf16 省 50% 显存 |
| …-INT4 | int4_weight_only_group128 | 11 GB | 128 组量化,性价比档 |
| …-FP8 | float8_weight_only | 19.4 GB | FP8 硬件(H100/L4+)友好 |

## 使用方法

```python
# 与普通 HF 模型完全一致,量化配置已写入 config.json
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
m = AutoModelForCausalLM.from_pretrained(
    "hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim-INT8",
    dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)
# 需已安装: pip install torchao
```

**重要:生成时务必配置 `repetition_penalty=1.1`**(贪心裸解码偶发重复循环,详见主仓库模型卡专题)。

## 用途限制

仅限授权安全测试、防御研究、安全教学等合法用途。详细条款见主仓库。

## 联系我们

- 官网 https://hcnote.cn · 公益安全网关 https://api.hcnsec.cn/ · QQ 群 253193620
- 特别感谢:新疆农业职业技术大学、新疆财经大学、新疆大学、新疆瞬知云科人工智能有限公司,以及 hcnote.cn 全体免费用户