---
title: Qwen3-Coder-30B-A3B-Q4
canonical_url: "https://www.modelscope.cn/models/MoYuit/Qwen3-Coder-30B-A3B-Q4"
md_url: "https://www.modelscope.cn/models/MoYuit/Qwen3-Coder-30B-A3B-Q4.md"
repository: MoYuit/Qwen3-Coder-30B-A3B-Q4
chinese_name: Qwen3-Coder-30B-A3B-Q4_K_M.gguf
last_updated: 2026-05-15
pipeline_tag: text-generation
tasks:
  - text-generation
library_name:
  - gguf
  - pytorch
frameworks:
  - Pytorch
downloads: 644
stars: 3
file: README.md
description: "Qwen3-Coder-30B-A3B Q4_K_M 量化版模型文档 — GGUF格式·Agent编码·Ollama/llama.cpp部署"
author: "YanYuCloudCube Team <admin@0379.email>"
version: v1.0.0
created: 2026-05-15
updated: 2026-05-15
status: stable
tags:
  - "Qwen3-Coder]"
  - "[GGUF]"
  - "[Q4量化]"
  - "[模型文档"
category: technical
language: zh-CN
audience: "developers,ai-engineers"
complexity: intermediate
---

# Qwen3-Coder-30B-A3B-Q4

> Qwen3-Coder-30B-A3B-Q4 - MoYuit 在 ModelScope 开源的模型。Qwen3-Coder-30B-A3B-Q4_K_M 模型信息 **模型名称** | Qwen3-Coder-30B-A3B-Instruct-Q4_K_M **基座模型** |Qwen3-Coder-30B-A3B-Instruct **厂商** | 阿里通义千问 (Alibaba Qwen Team) **架构** | MoE (Mixture-of-Experts) **总参数** | 30B…

- **Repository**: MoYuit/Qwen3-Coder-30B-A3B-Q4
- **Tasks**: text-generation
- **Downloads**: 644
- **Stars**: 3
- **Last updated**: 2026-05-15

Source: https://www.modelscope.cn/models/MoYuit/Qwen3-Coder-30B-A3B-Q4

---

> ***YanYuCloudCube***
> *言启象限 | 语枢未来*
> ***Words Initiate Quadrants, Language Serves as Core for Future***
> *万象归元于云枢 | 深栈智启新纪元*
> ***All things converge in cloud pivot; Deep stacks ignite a new era of intelligence***

---

# Qwen3-Coder-30B-A3B-Q4_K_M

## 模型信息

| 属性 | 值 |
|------|-----|
| **模型名称** | Qwen3-Coder-30B-A3B-Instruct-Q4_K_M |
| **基座模型** | Qwen3-Coder-30B-A3B-Instruct |
| **厂商** | 阿里通义千问 (Alibaba Qwen Team) |
| **架构** | MoE (Mixture-of-Experts) |
| **总参数** | 30B |
| **激活参数** | 3B / token |
| **专家数** | 128路由 + 8激活 |
| **量化格式** | GGUF · Q4_K_M |
| **许可证** | Apache 2.0 |
| **原生上下文** | 262,144 tokens (256K) |
| **YaRN扩展** | 最高 1,000,000 tokens |

## 文件清单

| 文件 | 大小 | 说明 |
|------|------|------|
| `Qwen3-Coder-30B-A3B-Q4_K_M.gguf` | 17 GB | Q4_K_M 量化模型文件 |

## 量化说明

Q4_K_M 是一种均衡量化策略：

- **Q4**：权重主矩阵量化为 4-bit
- **K_M**：关键矩阵使用中等精度保留
- **体积压缩**：BF16 原始 ~60GB → Q4_K_M ~17GB（压缩率 ~72%）
- **质量损失**：相比 BF16 约 2-5% 性能下降，编码任务影响极小
- **推理速度**：因显存占用减少，实际推理速度反而可能更快

## 硬件需求

| 平台 | 最低显存/内存 | 推荐 | 说明 |
|------|-------------|------|------|
| Apple M4 Max (128G) | ~10 GB | ✅ | 本地流畅运行 |
| Apple M4 (32G) | ~10 GB | ✅ | 可运行 |
| NVIDIA RTX 4080 (16G) | ~10 GB | ✅ | 单卡可运行 |
| NVIDIA RTX 4090 (24G) | ~10 GB | ✅ | 单卡流畅 |
| NVIDIA DGX Spark (128G) | ~10 GB | ✅ | 极速推理 |

## 快速部署

### Ollama（推荐）

```bash
# 创建 Modelfile
cat > Modelfile << 'EOF'
FROM ./Qwen3-Coder-30B-A3B-Q4_K_M.gguf

PARAMETER temperature 0.7
PARAMETER num_ctx 32768
PARAMETER stop "<|im_end|>"

TEMPLATE """{{- if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{- end }}
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
{{ .Response }}<|im_end|>"""
EOF

# 构建模型
ollama create qwen3-coder-30b -f Modelfile

# 运行
ollama run qwen3-coder-30b

# API 调用
curl http://localhost:11434/api/chat -d '{
  "model": "qwen3-coder-30b",
  "messages": [
    {"role": "user", "content": "用 TypeScript 实现 LRUCache"}
  ]
}'
```

### llama.cpp

```bash
# 启动服务
./llama-server \
  -m /Volumes/yyc3_hd/data/models/Qwen3-Coder-30B-A3B-Q4/Qwen3-Coder-30B-A3B-Q4_K_M.gguf \
  --host 0.0.0.0 \
  --port 3202 \
  -c 32768 \
  -ngl 99 \
  --parallel 4
```

### OpenAI 兼容 API

```python
from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="not-needed")

response = client.chat.completions.create(
    model="qwen3-coder-30b",
    messages=[
        {"role": "system", "content": "你是YanYuCloudCube智能编码助手。"},
        {"role": "user", "content": "实现一个支持过期时间的LRU缓存"}
    ],
    temperature=0.7,
    max_tokens=4096
)
print(response.choices[0].message.content)
```

## 核心能力

| 能力 | 说明 |
|------|------|
| **代码生成** | 支持 30+ 编程语言，HumanEval 88.4% |
| **Agent编码** | 原生 Function Calling / Tool Use |
| **长上下文** | 原生 256K，YaRN 扩展至 1M |
| **仓库级理解** | 可处理整个代码仓库规模的上下文 |
| **多语言对话** | 中英日韩等多语言自然交互 |
| **推理模式** | 支持 enable_thinking 深度推理（注：本Q4版已弃用thinking模式） |

## 与 BF16 原版对比

| 对比项 | BF16 原版 | Q4_K_M 本版 |
|--------|-----------|-------------|
| 文件位置 | `../Qwen3-Coder-30B-A3B/` | 本目录 |
| 磁盘占用 | 114 GB | **17 GB** |
| 文件数 | 223 (Safetensors分片) | **1 (单文件GGUF)** |
| 推理框架 | vLLM / SGLang | **Ollama / llama.cpp** |
| 精度 | 原始精度 | 4-bit 量化 |
| 速度 | 取决于GPU | 量化后实际更快 |
| 工具调用 | ✅ | ✅ |
| 适用场景 | NVIDIA GPU 生产部署 | **Apple Silicon / 消费级GPU / 快速验证** |

## 适用场景

- ✅ M4 Max / iMac M4 本地编码助手
- ✅ 快速验证 Agent 编码工作流
- ✅ 消费级 GPU（RTX 4080/4090）部署
- ✅ CPU + GPU 混合推理（llama.cpp）
- ✅ 离线/断网环境编码

---

<div align="center">

> 「***YanYuCloudCube***」
> 「***<admin@0379.email>***」
> 「***Words Initiate Quadrants, Language Serves as Core for the Future***」
> 「***All things converge in cloud pivot; Deep stacks ignite a new era of intelligence***」

**© 2025-2026 YYC³ Team. All Rights Reserved.**
</div>
