---
title: DeepSeek-V4.1-Flash-1017-W4A8
canonical_url: "https://www.modelscope.cn/models/qinxd10/DeepSeek-V4.1-Flash-1017-W4A8"
md_url: "https://www.modelscope.cn/models/qinxd10/DeepSeek-V4.1-Flash-1017-W4A8.md"
repository: qinxd10/DeepSeek-V4.1-Flash-1017-W4A8
chinese_name: DeepSeek-V4.1-Flash-1017-W4A8
last_updated: 2026-10-25
license: other
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - deepseek_v41
architectures:
  - DeepseekV41ForCausalLM
parameters: 500.9B
tensor_type:
  - F32
  - I8
  - BF16
  - F8_E8M0
library_name:
  - safetensors
language:
  - zh
  - en
downloads: 1512
stars: 3
tags:
  - deepseek
  - w4a8
  - quantization
  - 4bit
  - vllm
  - reasoning
  - long-context
---

# DeepSeek-V4.1-Flash-1017-W4A8

> DeepSeek-V4.1-Flash-1017-W4A8 - qinxd10 在 ModelScope 开源的模型。DeepSeek-V4.1-Flash-1017-W4A8

qinxd10/DeepSeek-V4.1-Flash-1017-W4A8 是 ModelScope 魔搭社区上的 500.9B 参数text-generation模型，采用 other 许可。

- **Repository**: qinxd10/DeepSeek-V4.1-Flash-1017-W4A8
- **License**: other
- **Tasks**: text-generation
- **Parameters**: 500.9B
- **Tags**: deepseek, w4a8, quantization, 4bit, vllm, reasoning, long-context
- **Downloads**: 1512
- **Stars**: 3
- **Last updated**: 2026-10-25

Source: https://www.modelscope.cn/models/qinxd10/DeepSeek-V4.1-Flash-1017-W4A8

---

# DeepSeek-V4.1-Flash-1017-W4A8

本仓库为 **`deepseek-v4.1-flash-1017`** 的 **W4A8 量化版本**：权重 4bit、激活 8bit，
由 **MindStudio ModelSlim** 量化工具链产出，权重显存占用约为 W8A8 版本的 **1/2**，
同时保持与 W8A8 基线基本一致的精度（详见[精度评测](#4-精度评测)）。

## 1. 模型信息

| 项目 | 说明 |
|---|---|
| 基座模型 | `deepseek-v4.1-flash-1017`（W8A8） |
| 量化格式 | **W4A8**（权重 4bit / 激活 8bit） |
| 量化工具 | MindStudio ModelSlim |
| 上下文长度 | 1,048,576 tokens（1M） |
| 推理引擎 | vLLM 0.30.0（已验证：TP8 + EP，OpenAI 兼容 API） |
| 模型类型 | 推理型大语言模型（输出含独立 `reasoning` 字段） |
| 支持语言 | 中、英（及其他基座模型支持的语言） |

> 说明：本仓库只包含量化后的权重与配套配置文件，不包含训练数据。
> 量化算法、校准数据与分组粒度等实现细节由 MindStudio ModelSlim 的量化流程决定。

## 2. 量化方案

W4A8 属于**权重低比特 + 激活 8bit** 的量化方案：

- **权重 4bit**：线性层权重压缩到 4bit，权重显存约为 FP16 的 1/4、W8A8 的 1/2，
  在同等显存下可支持更大的 batch、更长的上下文或更少的卡数；
- **激活 8bit**：激活保持 8bit，避免激活量化带来的额外精度损失，
  也是 W4A8 相对 W4A4 更稳的原因；
- 量化过程由 MindStudio ModelSlim 完成，目标是在压缩权重的同时尽可能保留原模型的输出分布；
  具体校准数据、分组粒度与调优配置请参考量化工具文档。

## 3. 快速开始

### 3.1 使用 vLLM 部署（OpenAI 兼容服务）

```bash
vllm serve /path/to/DeepSeek-V4.1-Flash-1017-w4a8 \
  --served-model-name deepseek-v4.1-flash-1017-w4a8 \
  --max-model-len 1048576 \
  --tensor-parallel-size 8 \
  --enable-expert-parallel \
  --trust-remote-code
```

> 量化后端参数（如 `--quantization`）随 vLLM / vLLM-Ascend 版本而异，
> 请以所用版本的官方文档为准；本仓库验证环境为 vLLM 0.30.0。

### 3.2 调用示例（Python / OpenAI SDK）

```python
from openai import OpenAI

client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY")

resp = client.chat.completions.create(
    model="deepseek-v4.1-flash-1017-w4a8",
    messages=[{"role": "user", "content": "用一句话解释什么是权重量化。"}],
    temperature=0,
    max_tokens=4096,
)
print(resp.choices[0].message.content)
```

### 3.3 调用示例（curl）

```bash
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-v4.1-flash-1017-w4a8",
    "messages": [{"role": "user", "content": "9.11 和 9.9 哪个大？"}],
    "temperature": 0,
    "max_tokens": 2048
  }'
```

### 3.4 关于 `reasoning` 字段

该模型为推理模型，思维链通过**独立字段**返回，不混入 `content`：

```json
{
  "choices": [{
    "message": {
      "role": "assistant",
      "content": "9.9 更大。",
      "reasoning": "比较 9.11 与 9.9：9.11 = 9.11，9.9 = 9.90，因此 9.9 更大……"
    },
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 20,
    "completion_tokens": 96,
    "completion_tokens_details": { "reasoning_tokens": 78 }
  }
}
```

生产环境建议只读取 `content`；`reasoning` 可用于审计或调试。
注意 `reasoning_tokens` 会计入 `max_tokens` 预算。

## 4. 精度评测

本仓库附带与 W8A8 基线的**配对同题对比评测**结果：同一批题目、同一 prompt、
同一解码参数（`temperature=0`）分别请求两个模型，逐题配对比较。

### 4.1 评测设置

| 项目 | 说明 |
|---|---|
| 配对样本 | **6,167 题**（10 个能力基准）+ **36 条**长上下文探针 |
| 能力覆盖 | 知识（MMLU / MMLU-Pro / C-Eval / CMMLU）、逻辑（BBH）、数学（GSM8K / MATH-500）、代码（HumanEval / MBPP）、指令遵循（IFEval）、长上下文（NIAH） |
| 判分 | 选项匹配；数学 sympy 符号等价；代码沙箱执行单测；IFEval 25 类约束程序化校验 |
| 统计 | 配对 bootstrap（10,000 次）95%CI、精确 McNemar、Holm-Bonferroni 多重校正 |
| 公平性校验 | 两模型分词器 token id 完全一致、chat 模板 `prompt_tokens` 一致 |

### 4.2 结果

| 基准 | W8A8 | **W4A8（本模型）** | Δ (pp) | 95% CI |
|---|---|---|---|---|
| MMLU | 89.50% | **89.77%** | +0.27 | [−0.74, +1.28] |
| MMLU-Pro | 84.75% | **84.25%** | −0.50 | [−2.25, +1.25] |
| C-Eval | 91.63% | **92.63%** | +1.00 | [−0.62, +2.62] |
| CMMLU | 91.75% | **92.50%** | +0.75 | [−0.75, +2.50] |
| BBH | 91.67% | **91.00%** | −0.67 | [−2.00, +0.67] |
| GSM8K | 96.06% | **95.98%** | −0.08 | [−0.76, +0.61] |
| MATH-500 | 94.60% | **93.00%** | −1.60 | [−3.00, −0.20] |
| HumanEval | 87.80% | **86.59%** | −1.22 | [−4.88, +1.83] |
| MBPP | 75.10% | **74.71%** | −0.39 | [−2.72, +2.33] |
| IFEval | 88.54% | **86.88%** | −1.66 | [−4.07, +0.74] |
| NIAH（≤10.6 万 token 检索） | 100% | **100%** | 0.00 | — |

| 汇总指标 | W8A8 | **W4A8** | 变化 |
|---|---|---|---|
| 微平均准确率 | 90.81% | **90.64%** | **−0.16 pp** |
| 宏平均准确率 | 90.95% | **90.61%** | **−0.34 pp** |
| 显著退化的基准数（Holm α=0.05） | — | **0 / 10** | 无 |
| 语言建模 PPL（WikiText-2） | 1.393 | **1.406** | +0.9% |
| 校准误差 ECE（MMLU） | 0.1048 | **0.1093** | +0.0045 |

### 4.3 结论摘要

- **总体**：平均精度损失 **0.16–0.34 pp**，统计上不显著，落在测量噪声范围内；
- **知识/语言理解/中文**：无损失（−0.7 ~ +1.0 pp，均不显著）；
- **数学推理**：小幅退化（MATH-500 −1.60 pp，翻转方向 11:3），是最需关注的区域；
- **代码生成**：−0.4 ~ −1.2 pp，样本量不足以断言显著；
- **指令遵循**：−1.66 pp，其中约 3/4 可由"推理挤占输出预算"解释（放宽 `max_tokens` 可回收）；
- **长上下文检索**：≤10.6 万 token 未发现退化（但任务已到天花板）；
- **概率质量**：PPL +0.9%、ECE +0.004，基于置信度的阈值策略可直接沿用。

> **评测边界**：同一模型 `temperature=0` 重跑仍有约 3.3% 的逐题不一致（推理服务批处理非确定性），
> 因此小于 ~2 pp 的差异不宜视为确定的能力差异；HumanEval（n=164）的置信区间约 ±3.4 pp。

## 5. 推理参数建议

| 场景 | 建议 |
|---|---|
| 确定性输出 / 评测 | `temperature=0`、`top_p=1` |
| 通用对话 | `temperature=0.6 ~ 1.0` |
| 数学 / 代码 / 复杂推理 | 预留 `max_tokens ≥ 4096`（思维链计入预算），必要时对 `finish_reason=length` 重试一次 |
| 结构化输出（JSON 等） | 建议加 schema 校验与一次重试；该场景 W4A8 相对 W8A8 略弱 |
| 长文档 | 已验证 10 万 token 级检索；更长的多跳/聚合任务建议自行验证 |

## 6. 已知限制

1. **推理长度敏感**：思维链较长，`max_tokens` 过小会导致 `content` 为空（`finish_reason=length`）；
2. **结构化格式**：JSON、全大写、固定段落数等强格式约束的通过率略低于 W8A8；
3. **长上下文**：仅验证到约 10.6 万 token 的检索任务，未覆盖超长多跳推理；
4. **未评测项**：安全性、多语言（中英以外）、多模态、工具调用等未纳入本次评测；
5. **量化固有风险**：低比特权重在训练分布外的输入上可能出现更大偏差，建议上线前用业务数据做 A/B。

## 7. 复现评测

评测代码与逐题结果随测试报告一并归档（脚本包含：数据构建、并发推理、判分、统计分析）。
复现所需的关键设置：`temperature=0`、`top_p=1`、固定 `max_tokens`、同一 prompt 模板，
两模型使用相同分词器与 chat 模板。

## 8. 许可与声明

- 本模型为 `deepseek-v4.1-flash-1017` 的量化版本，**使用须遵守基座模型的许可条款**
  及魔搭社区规范；本仓库不授予额外的商业使用权利。
- 量化模型输出可能与基座模型存在差异，请自行评估是否满足业务要求。
- 本模型按"现状"提供，不对适用性、准确性作任何明示或暗示担保。

## 9. 引用

```bibtex
@misc{deepseek-v4.1-flash-1017-w4a8,
  title  = {DeepSeek-V4.1-Flash-1017-W4A8},
  note   = {W4A8 quantized variant of deepseek-v4.1-flash-1017, produced with MindStudio ModelSlim},
  year   = {2026}
}
```

---

## 附：上传清单（仓库根目录）

```
DeepSeek-V4.1-Flash-1017-w4a8/
├── README.md                 # 本文件
├── config.json               # 模型结构配置
├── generation_config.json    # 生成参数（可选）
├── tokenizer.json
├── tokenizer_config.json
├── special_tokens_map.json
└── *.safetensors             # 量化权重（含 quantization_config 字段）
```

> 若 `config.json` 中缺少量化描述，建议补充 `quantization_config`
> （如 `quant_method`、`bits: 4`、`group_size` 等），便于推理框架自动识别。