---
title: Qwen3.5-9B-ComfyUI-W4A8-8G
canonical_url: "https://www.modelscope.cn/models/govceo/Qwen3.5-9B-ComfyUI-W4A8-8G"
md_url: "https://www.modelscope.cn/models/govceo/Qwen3.5-9B-ComfyUI-W4A8-8G.md"
repository: govceo/Qwen3.5-9B-ComfyUI-W4A8-8G
chinese_name: "Qwen3.5-9B-ComfyUI入门消费级显卡8G运行首选"
last_updated: 2026-10-05
license: apache-2.0
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
base_model:
  - Qwen/Qwen3.5-9B
base_model_relation: finetune
parameters: 6.2B
tensor_type:
  - F8_E4M3
  - U8
  - F32
  - BF16
  - I8
library_name:
  - safetensors
  - pytorch
  - comfyui
frameworks:
  - pytorch
  - comfyui
downloads: 66
stars: 2
tags:
  - comfyui
  - text-generation
  - image-text-to-text
  - quantization
  - w4a8
  - int8
  - amd-free
  - 8gb-vram
  - consumer-gpu
  - qwen3.5
  - vision-language
---

# Qwen3.5-9B-ComfyUI-W4A8-8G

> Qwen3.5-9B-ComfyUI-W4A8-8G - govceo 在 ModelScope 开源的模型。Qwen3.5-9B 的 ComfyUI 原生量化版 —— 6.67GB 装进 8GB 显存，RTX 3060 12GB 实测 24.5 tokens/s，视觉理解完整保留。不需要 Ollama、不需要 llama.cpp、不需要外挂推理进程：放进 `models/text_encoders/` 就能被 ComfyUI 原生 `CLIPLoader` + `TextGenerate`…

govceo/Qwen3.5-9B-ComfyUI-W4A8-8G 是 ModelScope 魔搭社区上的 6.2B 参数image-text-to-text模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.5-9B 构建。

- **Repository**: govceo/Qwen3.5-9B-ComfyUI-W4A8-8G
- **License**: apache-2.0
- **Tasks**: image-text-to-text
- **Parameters**: 6.2B
- **Base model**: Qwen/Qwen3.5-9B
- **Tags**: comfyui, text-generation, image-text-to-text, quantization, w4a8, int8, amd-free, 8gb-vram, consumer-gpu, qwen3.5, vision-language
- **Downloads**: 66
- **Stars**: 2
- **Last updated**: 2026-10-05

Source: https://www.modelscope.cn/models/govceo/Qwen3.5-9B-ComfyUI-W4A8-8G

---

# Qwen3.5-9B-ComfyUI-W4A8-8G

**Qwen3.5-9B 的 ComfyUI 原生量化版 —— 6.67GB 装进 8GB 显存，RTX 3060 12GB 实测 24.5 tokens/s，视觉理解完整保留。**

不需要 Ollama、不需要 llama.cpp、不需要外挂推理进程：放进 `models/text_encoders/` 就能被 ComfyUI 原生 `CLIPLoader` + `TextGenerate` 节点直接使用，和图像/视频模型由同一个 ComfyUI 进程统一编排显存。

## ✨ 核心特性

| 特性 | 说明 |
|---|---|
| 🎯 **8GB 显存全驻留** | 6.67GB 权重，Qwen3.5-9B 目前唯一能在 3060 8GB 上全显存运行的版本 |
| ⚡ **Ampere 原生加速** | INT8 张量核心真硬件路径（`torch._int_mm`），不是模拟——RTX 30/40/50 系都吃到加速 |
| 🧩 **ComfyUI 原生格式** | `comfy_quant` 混合格式（非 GGUF），CLIPLoader 直读，与 LoRA/offload/多卡体系兼容 |
| 👁️ **视觉能力保留** | 视觉塔按 BF16 保留，图像描述/画面质检/视觉问答照常工作（多数纯文本量化版丢了这个能力） |
| 📉 **误差实测收敛** | 线性层反量化误差 7.3% / lm_head 6bit 档 2.1%，端到端任务实测与 BF16 无可感知落差 |
| 🔧 **转换工具开源** | 转换脚本与基准工具以 Apache-2.0 随包发布，可自行复现或调整配方 |

## 📊 实测数据（RTX 3060 12GB，ComfyUI 0.38.2）

| 指标 | 数值 | 说明 |
|---|---|---|
| 文件大小 | **6.67 GB** | 原官方 BF16 版 17.98GB |
| 稳态生成速度 | **24.5 tokens/s** | tqdm 实测；3060 8GB 卡按带宽折算预期 ~16 tok/s |
| 运行占显存 | **~6.9 GB**（free 5.96GB） | 含 KV cache 与激活 |
| 冷启动加载 | **6.2 秒** | 磁盘 mmap 首次加载 |
| 中文剧情创作 | 473 字连贯长文 ✓ | 有反转、有场景细节、有对白 |
| 结构化 JSON | 长 JSON（~2500 token）一次通过格式校验 ✓ | 适合需要严格输出的编排 |
| 长度硬约束 | ≤40 字剧情简介一次达标 ✓ | 与""硬门"0 冲突 |
| 视觉质检 | 视觉判定 JSON 合规，能识别"面部 AI 感"瑕疵 ✓ | 视觉 BMAD/验收可用 |

> 速度对比来源：同卡同任务下官方 BF16 版本因超出 12GB 显存被迫 CPU 换页，仅 1.05 tok/s；本版本快 **23 倍**。

## 📐 量化配方（分层调度）

不是一味砍位数——按部件敏感度调度：

| 部件 | 量化方式 | 体积 | 理由 |
|---|---|---|---|
| 语言模型 Linear ×200 | **W4A8**（int4 存储 + INT8 计算 + Lloyd-Max 码本 + ConvRot 旋转 + 16 组缩放） | 3.40 GB | 体量大、容忍度高，主力压缩 |
| lm_head（输出头） | **W6A8**（6-bit） | 0.82 GB | 直接决定输出分布，给更高精度 |
| embed_tokens（词嵌入） | **int8_tensorwise**（按行反量化查找） | 1.02 GB | 大但不参与浮点计算，按行查表零开销 |
| 视觉塔 | **BF16 保留** | 0.85 GB | 质量敏感，保留保视觉质检能力 |
| MTP 推测解码头 / norm / conv / 递归态 | 剔除（MTP）/ BF16 保留 | ~0.1 GB | MTP 为可选加速件，删除不影响常规使用 |

格式遵循 ComfyUI 官方《QUANTIZATION.md》规范，加载端实现位于 ComfyUI `comfy/quant_ops.py`（`AsymW4A8Int8Layout` / `TensorWiseINT8Layout`），非自定义私货。

## 🚀 使用

### 1) 放置

```
ComfyUI/models/text_encoders/qwen3.5-9b-w4a8-8g.safetensors
```

### 2) 工作流（原生节点）

```
CLIPLoader (clip_name=qwen3.5-9b-w4a8-8g.safetensors, type=stable_diffusion)
   └─> TextGenerate {
         prompt: <你的提示>
         system_prompt: <String 节点连入>   // 注意: system_prompt 是 forceInput，必须连线
         use_default_template: true
         mtp: off                            // 本版本已剔除 MTP 头，此项无影响
       }
   └─> SaveText / PreviewAny
```

视觉任务：给 TextGenerate 接上 `image` 输入即可（LoadImage 1-3 帧）。

### 3) 性能补丁（强烈推荐）

一行补丁，否则 lm_head 会每 token 全量反量化（功能正确但慢 20-30%）：

```bash
cd ComfyUI
git apply comfy-logits-patch.diff    # 随包发布
```

> ComfyUI 大版本更新会覆盖 `comfy/text_encoders/llama.py`，届时需重打补丁。

## 🧱 环境要求

| 项 | 要求 |
|---|---|
| ComfyUI | ≥ 0.38.2（需自带 comfy_kitchen） |
| GPU | NVIDIA Ampere 或更新（RTX 3060/4060/5060 等），8GB 显存入门、12GB 推荐 |
| 更老显卡 | 可跑但触发分块换页，速度显著下降 |
| CPU-only | 可用（兜底反量化路径），不建议生产 |

## ⚠️ 局限

- **不适合**高吞吐 API 服务（那是 vLLM/llama.cpp 的领域，不是 ComfyUI 的职责）
- 不再含 MTP 头（常规吞吐用不到；删除后功能无损）
- 端到端质量已实测收敛，但与 BF16 不是逐 bit 等价（生成内容同样种子下可能与基线有细微差异）
- 未打补丁时：功能正确、速度 -20~30%（见上）

## 📦 文件清单

| 文件 | 说明 |
|---|---|
| `qwen3.5-9b-w4a8-8g.safetensors` | 主权重（6.67GB） |
| `comfy-logits-patch.diff` | ComfyUI 运行时补丁（强烈建议） |
| `README.md` | 本卡片 |
| `LICENSE` | Apache-2.0 与出处 |

## 🙏 出处与许可

- **基座模型**: [Qwen/Qwen3.5-9B](https://huggingface.co/Qwen/Qwen3.5-9B) —— Alibaba Qwen 团队
- **官方 Repack**: [Comfy-Org/Qwen3.5](https://huggingface.co/Comfy-Org/Qwen3.5) —— ComfyUI 团队
- **量化实现**: ComfyUI `comfy_kitchen`（`quantize_w4a8_int8_weight` / `TensorWiseINT8Layout`）
- **License**: Apache-2.0（请保留上述出处链接）

> 本权重为社区量化产物，与上述官方项目无隶属关系。
