---
title: Qwen3.8-27B-AWQ
canonical_url: "https://www.modelscope.cn/models/YanfeiSong/Qwen3.8-27B-AWQ"
md_url: "https://www.modelscope.cn/models/YanfeiSong/Qwen3.8-27B-AWQ.md"
repository: YanfeiSong/Qwen3.8-27B-AWQ
last_updated: 2026-08-15
license: apache-2.0
pipeline_tag: visual-question-answering
tasks:
  - visual-question-answering
model_type:
  - qwen3_5
architectures:
  - Qwen3_5ForConditionalGeneration
base_model:
  - Qwen/Qwen3.8-27B
base_model_relation: quantized
parameters: 27.8B
tensor_type:
  - BF16
  - F16
  - I32
library_name:
  - safetensors
downloads: 1959
stars: 7
tags:
  - qwen
  - qwen3.8
  - awq
  - autoround
  - sglang
  - v100
---

# Qwen3.8-27B-AWQ

> Qwen3.8-27B-AWQ - YanfeiSong 在 ModelScope 开源的模型。这是基于 Qwen/Qwen3.8-27B 制作的 AutoAWQ 权重量化版本，目标运行环境为SGLang。

YanfeiSong/Qwen3.8-27B-AWQ 是 ModelScope 魔搭社区上的 27.8B 参数visual-question-answering模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.8-27B 构建。

- **Repository**: YanfeiSong/Qwen3.8-27B-AWQ
- **License**: apache-2.0
- **Tasks**: visual-question-answering
- **Parameters**: 27.8B
- **Base model**: Qwen/Qwen3.8-27B
- **Tags**: qwen, qwen3.8, awq, autoround, sglang, v100
- **Downloads**: 1959
- **Stars**: 7
- **Last updated**: 2026-08-15

Source: https://www.modelscope.cn/models/YanfeiSong/Qwen3.8-27B-AWQ

---

# Qwen3.8-27B-AWQ

这是基于 [Qwen/Qwen3.8-27B](https://modelscope.cn/models/Qwen/Qwen3.8-27B) 制作的 AutoAWQ 权重量化版本，目标运行环境为SGLang。

## 量化配置

- 工具：AutoRound 0.14.2
- 格式：AutoAWQ GEMM
- 权重：4 bit，activation 保持 16 bit
- Group size：128
- Zero point：启用（非对称量化）
- 校准集：4096 条、每条 1024 ~ 32768 tokens；包含中英文、代码、数学和对话数据
- 已量化线性模块：346
- checkpoint 大小：20.371 GiB

为了保留精度和架构兼容性，以下部分保持 BF16/FP16：视觉模块、MTP、`lm_head`、第 0 层、full-attention 的 Q/K/V 投影，以及 linear-attention 的 `in_proj_a`/`in_proj_b`。

## MTP 与完整性验证

- checkpoint 中包含 15 个官方 MTP 张量，共 849,398,784 字节。
- 每个 MTP 张量的名称、dtype、shape、长度和 SHA-256 均与官方源 checkpoint 逐字节一致。
- SGLang 已将其正确加载为 `Qwen3_5ForCausalLMMTP`，没有参数未找到或跳过映射警告。
- 单卡 V100 冒烟测试中，MTP speculative decoding 的观察接受长度为 2.42–2.62，接受率约 47%–54%。

## SGLang 启动示例

```bash
python -m sglang.launch_server \
  --model-path /path/to/Qwen3.8-27B-AWQ \
  --served-model-name qwen38-27b \
  --quantization awq \
  --dtype float16 \
  --attention-backend triton \
  --sampling-backend pytorch \
  --speculative-algorithm NEXTN \
  --speculative-draft-model-path /path/to/Qwen3.8-27B-AWQ \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4
```

V100 不支持原生 BF16 计算，建议显式使用 `--dtype float16`。SM70 运行还需要与本机 CUDA/SGLang 版本匹配的算子实现。

## 已验证范围

- AutoAWQ checkpoint 结构、打包 dtype 和 346 个目标量化模块
- 32GB V100 上的 SGLang 加载、CUDA Graph、MTP speculative decoding
- OpenAI-compatible 文本生成接口及确定性输出

视觉权重已保留，但本版本尚未完成多模态输入的功能与性能验收。

## 下载

```python
from modelscope import snapshot_download

model_dir = snapshot_download("YanfeiSong/Qwen3.8-27B-AWQ")
print(model_dir)
```

## License

本仓库沿用基础模型的 Apache License 2.0。请同时遵守基础模型仓库中的使用条款。