---
title: Qwen3.8-27B-GPTQ-Int4
canonical_url: "https://www.modelscope.cn/models/ArkStudioTree/Qwen3.8-27B-GPTQ-Int4"
md_url: "https://www.modelscope.cn/models/ArkStudioTree/Qwen3.8-27B-GPTQ-Int4.md"
repository: ArkStudioTree/Qwen3.8-27B-GPTQ-Int4
chinese_name: "千问3.8-27B-GPTQ-Int4"
last_updated: 2026-08-18
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
model_type:
  - qwen3_5
architectures:
  - Qwen3_5ForConditionalGeneration
parameters: 27.8B
tensor_type:
  - I32
  - F16
  - BF16
library_name:
  - safetensors
downloads: 708
stars: 6
---

# Qwen3.8-27B-GPTQ-Int4

> Qwen3.8-27B-GPTQ-Int4 - ArkStudioTree 在 ModelScope 开源的模型。千问3.8-27B极致量化版，支持vLLM0.19.0，8*V100-16GB轻松开满上下文

- **Repository**: ArkStudioTree/Qwen3.8-27B-GPTQ-Int4
- **Tasks**: image-text-to-text
- **Parameters**: 27.8B
- **Downloads**: 708
- **Stars**: 6
- **Last updated**: 2026-08-18

Source: https://www.modelscope.cn/models/ArkStudioTree/Qwen3.8-27B-GPTQ-Int4

---

# Qwen3.8-27B-GPTQ-Int4

## 模型介绍

Qwen3.8-27B 是 Qwen 系列最新一代的稠密（Dense）原生多模态大语言模型，总参数量 27B，于 2026 年 8 月 14 日发布。本仓库提供 **GPTQ-Int4** 量化版本，**专为老卡设计，可以在 NVIDIA V100（sm_70）上搭配 vLLM 0.19.0 正常部署推理**。

相比上一代 Qwen3.6-27B，Qwen3.8-27B 在编程、办公 Agent、长文档理解等场景有显著提升：
- SWE-Bench Pro：61.7%（大幅超越 Qwen3.6-27B）
- CoWorkBench：70.7%（超越 Claude Opus 4.6 Max 的 68.2%）
- LiveCodeBench v6：90.3%
- GPQA Diamond：89.2%

### 架构亮点

- **Gated DeltaNet + Gated Attention 3:1 混合架构**
  - 64 层中 48 层使用 Gated DeltaNet 线性注意力（O(n) 状态，不存储 KV cache）
  - 16 层使用 Gated Attention 门控全注意力
  - KV cache 仅为同等全注意力模型的约 1/4
- **Dense 架构**，全部 27B 参数参与计算（非 MoE）
- **MTP 多 Token 预测**，内置 draft head 加速推理
- **原生 262,144 tokens（262K）上下文**，可通过 YaRN 扩展到 1M

## 量化信息

| 项目 | 内容 |
|------|------|
| 基座模型 | Qwen3.8-27B |
| 量化方法 | GPTQ-Int4 |
| 权重大小 | ~18.5 GB |
| 推荐部署框架 | vLLM 0.19.0 |

## 硬件兼容性

**本模型的核心卖点：能在 V100 老卡上跑。**

- vLLM 从 0.20.0 开始移除了对 sm_70（V100）的支持，因此 **必须使用 vLLM 0.19.0 或更早版本**
- 本量化版本在 4×V100 16GB 上经过实测验证，128K 上下文稳定运行
- 也兼容更新的 GPU（A100、H100、RTX 4090 等），可升级到更高 vLLM 版本

### 4×V100 16GB 显存账本

| 项目 | 单卡占用 |
|------|----------|
| 模型权重（4 卡切分） | ~4.6 GB |
| 激活计算 | ~1.5 GB |
| vLLM runtime | ~2.5 GB |
| CUDA context | ~1.5 GB |
| **可给 KV cache** | **~5 GB/卡** |

**上下文容量（单请求）：**

| 上下文长度 | 可并行请求数 |
|-----------|-------------|
| 128K | 5 个 |
| 256K | 2-3 个 |
| 512K | 1 个 |

## 部署方式

### Docker 部署（推荐）

```bash
docker run -d --name vllm-server --gpus all \
  -p 8000:8000 \
  --ipc=host \
  -v /mnt/models/Qwen/Qwen3.8-27B-GPTQ-Int4:/Qwen3.8 \
  vllm/vllm-openai:v0.19.0 \
  /Qwen3.8 \
  --tensor-parallel-size 4 \
  --trust-remote-code \
  --max-model-len 131072 \
  --enforce-eager \
  --served-model-name Qwen3.8 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser qwen3 \
  --default-chat-template-kwargs '{"enable_thinking": true}'
```

> ⚠️ 重要：V100 用户必须使用 vLLM 0.19.0，镜像 tag 为 `vllm/vllm-openai:v0.19.0`。不要使用 0.20+。
> 注意：V100 不支持 FlashAttention 2，`--enforce-eager` 为必选参数，否则会报 FA2 错误。

## 使用示例

```python
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="***"
)
response = client.chat.completions.create(
    model="Qwen3.8",
    messages=[{"role": "user", "content": "你好"}],
    max_tokens=1024,
    temperature=0.7
)
print(response.choices[0].message.content)
```

## 性能参考

| 指标 | 数据 |
|------|------|
| decode 速度 | 52-141 t/s（带 batching） |
| 首 token 延迟 | ~380 ms |
| 稳态吞吐 | ~28.7 t/s |

## 注意事项

- **V100 仅支持 GPTQ 量化**，不支持 AWQ
- **必须使用 vLLM 0.19.0**，0.20+ 不兼容 sm_70（V100）
- **必须加 `--enforce-eager`**，V100 不支持 FlashAttention 2
- **128K 上下文为推荐上限**，256K 需实测 OOM 边界
- **DeltaNet 架构大幅降低 KV cache**，计算上下文容量时请参考实际 attention 层数

## License

本模型使用 Qwen 系列 License（Apache 2.0），详情请参考原始模型仓库。

---