---
title: Qwen3-235B-A22B-Thinking-2507-w8a8
canonical_url: "https://www.modelscope.cn/models/PneumaAI-org/Qwen3-235B-A22B-Thinking-2507-w8a8"
md_url: "https://www.modelscope.cn/models/PneumaAI-org/Qwen3-235B-A22B-Thinking-2507-w8a8.md"
repository: PneumaAI-org/Qwen3-235B-A22B-Thinking-2507-w8a8
last_updated: 2025-09-18
license: "Apache License 2.0"
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - qwen3_moe
architectures:
  - Qwen3MoeForCausalLM
base_model:
  - Qwen/Qwen3-235B-A22B-Thinking-2507
base_model_relation: quantized
parameters: 235.2B
tensor_type:
  - I8
  - BF16
library_name:
  - safetensors
  - pytorch
frameworks:
  - PyTorch
language:
  - zh
inference_backends:
  - "deploy_task text/emb"
  - "lmdeploy_turbomind 0.9.1"
  - "sglang 0.5.2"
  - "vllm 0.9.2"
downloads: 276
stars: 4
tags:
  - W8A8
  - Qwen3-235B
  - "国产GPU"
---

# Qwen3-235B-A22B-Thinking-2507-w8a8

> Qwen3-235B-A22B-Thinking-2507-w8a8 - PneumaAI-org 在 ModelScope 开源的模型。Qwen3-235B-A22B-Thinking-2507 w8a8 量化模型

PneumaAI-org/Qwen3-235B-A22B-Thinking-2507-w8a8 是 ModelScope 魔搭社区上的 235.2B 参数text-generation模型，采用 Apache License 2.0 许可，基于 Qwen/Qwen3-235B-A22B-Thinking-2507 构建，可用 deploy_task text/emb、lmdeploy_turbomind 0.9.1、sglang 0.5.2 部署。

- **Repository**: PneumaAI-org/Qwen3-235B-A22B-Thinking-2507-w8a8
- **License**: Apache License 2.0
- **Tasks**: text-generation
- **Parameters**: 235.2B
- **Base model**: Qwen/Qwen3-235B-A22B-Thinking-2507
- **Inference backends**: deploy_task text/emb, lmdeploy_turbomind 0.9.1, sglang 0.5.2, vllm 0.9.2
- **Tags**: W8A8, Qwen3-235B, 国产GPU
- **Downloads**: 276
- **Stars**: 4
- **Last updated**: 2025-09-18

Source: https://www.modelscope.cn/models/PneumaAI-org/Qwen3-235B-A22B-Thinking-2507-w8a8

---

# Qwen3-235B-A22B-Thinking-2507 w8a8 量化模型  

---

## 📌 模型简介

本模型为 **Qwen3-235B-A22B-Thinking-2507** 的 **w8a8 量化版本**，可以国产 GPU —— **沐曦 C500** vLLM 8卡上运行 。

---
 
## 📥 模型下载

```bash
# 示例（需替换为实际下载命令）
modelscope download --model PneumaAI-org/Qwen3-235B-A22B-Thinking-2507-w8a8 --local_dir ./
```

---

 ## ⚙️ 启动vLLM示例

```bash
vllm serve ./Qwen3-235B-A22B-thinking-2507-w8a8 \
  --enable-prefix-caching \
  --enable-chunked-prefill \
  --max-num-seqs 64 \
  -tp 8 \
  --gpu-memory-utilization 0.95 \
  -q compressed-tensors \
  --swap-space 8 \
  --max-model-len 32768 \
  --reasoning-parser deepseek_r1 \
  --served-model-name Qwen3_235B_2507 \
  --host 0.0.0.0 \
  --port 9003
```