---
title: DeepSeek-V4-Flash-0731-A100
canonical_url: "https://www.modelscope.cn/models/yobo2u/DeepSeek-V4-Flash-0731-A100"
md_url: "https://www.modelscope.cn/models/yobo2u/DeepSeek-V4-Flash-0731-A100.md"
repository: yobo2u/DeepSeek-V4-Flash-0731-A100
last_updated: 2026-08-19
license: mit
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - deepseek_v4
architectures:
  - DeepseekV4ForCausalLM
parameters: 304.2B
tensor_type:
  - I64
  - F8_E8M0
  - I8
  - F32
  - BF16
library_name:
  - safetensors
  - pytorch
frameworks:
  - pytorch
downloads: 95
stars: 1
tags:
  - deepseek
  - deepseek-v4
  - a100
  - a800
  - sm80
  - bf16
  - mxfp4
  - sglang
---

# DeepSeek-V4-Flash-0731-A100

> DeepSeek-V4-Flash-0731-A100 - yobo2u 在 ModelScope 开源的模型。DeepSeek-V4-Flash-0731-A100 (BF16 + MXFP4)

yobo2u/DeepSeek-V4-Flash-0731-A100 是 ModelScope 魔搭社区上的 304.2B 参数text-generation模型，采用 mit 许可。

- **Repository**: yobo2u/DeepSeek-V4-Flash-0731-A100
- **License**: mit
- **Tasks**: text-generation
- **Parameters**: 304.2B
- **Tags**: deepseek, deepseek-v4, a100, a800, sm80, bf16, mxfp4, sglang
- **Downloads**: 95
- **Stars**: 1
- **Last updated**: 2026-08-19

Source: https://www.modelscope.cn/models/yobo2u/DeepSeek-V4-Flash-0731-A100

---

# DeepSeek-V4-Flash-0731-A100 (BF16 + MXFP4)

面向 **NVIDIA A100 / A800（SM80 架构）** 转换的 DeepSeek-V4-Flash-0731 权重。

> **为什么需要这个转换**：A100 / A800 是 SM80 架构，**不支持原生 FP8**。
> 官方 checkpoint 的非 expert 权重为 FP8，无法在 SM80 上直接加载。
> 本仓库将非 expert 权重转为 **BF16**，expert 权重保留 **MXFP4**，
> 使模型可在 8×A800-80GB 上以 TP8 正常服务。
>
> **H100 / H800 / H20（SM90+）用户请直接使用[官方原始权重](https://modelscope.cn/models/deepseek-ai/DeepSeek-V4-Flash-0731)**，无需本仓库。

## 目标硬件

| 项目 | 要求 |
|---|---|
| GPU | 8× A100-80GB 或 A800-80GB（SM80, Compute Capability 8.0） |
| 显存 | 每卡 ≥ 80GB，TP8 下实测峰值约 52 GB/卡 |
| 互联 | NVLink（实测 A800 8×25 GB/s 双向） |
| 驱动 / CUDA | Driver 595.71+ / CUDA 13.0+ |

## 转换说明

| 项目 | 值 |
|---|---|
| 源模型 | [deepseek-ai/DeepSeek-V4-Flash-0731](https://modelscope.cn/models/deepseek-ai/DeepSeek-V4-Flash-0731) |
| 非 expert 权重 | FP8 → **BF16** |
| expert 权重 | 保留 **MXFP4**（35,328 个 tensor） |
| 总 tensor 数 | 47,927 |
| 仓库大小 | 173 GB（48 个分片，原始 156 GB） |

## 部署配置

**完整部署方案、启动脚本、monkeypatch 安装步骤和性能基准，全部在 GitHub 仓库：**

### 👉 https://github.com/yobo2u/DeepSeek-V4-Flash-0731-A100

该仓库包含：

- SGLang 0.5.16 + A100 monkeypatch 的完整安装步骤
- 开箱即用的启动脚本（`launch.sh` / `launch_mem085_chunk32k.sh`）
- 转换与校验脚本
- **三配置 DSpark 参数因子分解基准报告**（HTML + PDF，各 30 组 / 900 请求）

## 软件栈

| 组件 | 版本 |
|---|---|
| SGLang | 0.5.16（commit `fdebc938`） |
| A100 monkeypatch | [yaleyoou/deepseek-v4-a100-sglang-v0516](https://github.com/yaleyoou/deepseek-v4-a100-sglang-v0516) |
| PyTorch | 2.11.0+cu130 |
| Triton | 3.6.0 |
| Python | 3.12.13 |
| CUDA | 13.0 |

> ⚠️ 直接用未打补丁的 SGLang / vLLM 加载本权重会失败。
> SM80 缺少 sparse decode kernel，必须配合上述 monkeypatch，
> 详见 GitHub 仓库的安装章节。

## 实测性能（8×A800, TP8, DSpark）

推荐配置：`--mem-fraction-static 0.85 --chunked-prefill-size 32768 --max-running-requests 16`

| 指标 | 值 |
|---|---|
| 单流解码（C1, 1000/TPOT） | ~217 tok/s |
| 并发聚合吞吐（C16） | ~1232 tok/s（峰值 1334） |
| Accept Rate | ~60%（0.40–0.86，随上下文增长） |
| Accept Len | ~4.01（3.01–5.30） |
| TTFT（C1） | ~296 ms |
| 峰值显存 / GPU | ~51.9 GB |
| 上下文 | 1M tokens |

测试覆盖 1K/4K/16K/64K/128K × 并发 1/8/16 × 2 次重复 = 30 组，900 请求，Error / Timeout 均为 0。

**调参要点**：`mem-fraction-static` 保持 `0.85`，提到 `0.90` 会压缩 KV cache 余量，
使 128K 长上下文的 Accept Rate 由 0.80 跌至 0.69、吞吐下降约 11%。
完整因子分解见 [GitHub benchmarks](https://github.com/yobo2u/DeepSeek-V4-Flash-0731-A100/tree/main/benchmarks)。

## 下载

```bash
# ModelScope
modelscope download yobo2u/DeepSeek-V4-Flash-0731-A100 \
  --local_dir ./DeepSeek-V4-Flash-0731-A100
```

```python
from modelscope import snapshot_download
model_dir = snapshot_download('yobo2u/DeepSeek-V4-Flash-0731-A100')
```

同一权重也发布在 HuggingFace：[yobo2u/DeepSeek-V4-Flash-0731-A100](https://huggingface.co/yobo2u/DeepSeek-V4-Flash-0731-A100)

## 快速启动

```bash
git clone https://github.com/yobo2u/DeepSeek-V4-Flash-0731-A100.git
cd DeepSeek-V4-Flash-0731-A100
# 按 README 安装 SGLang 0.5.16 + monkeypatch，然后：
bash launch_mem085_chunk32k.sh
```

## 许可

MIT，与上游 DeepSeek-V4-Flash-0731 一致。

## 致谢

- [deepseek-ai](https://modelscope.cn/models/deepseek-ai/DeepSeek-V4-Flash-0731) — 原始模型
- [yaleyoou/deepseek-v4-a100-sglang-v0516](https://github.com/yaleyoou/deepseek-v4-a100-sglang-v0516) — A100 monkeypatch
- [Qeeweew/deepseek-v4-a100-sglang](https://github.com/Qeeweew/deepseek-v4-a100-sglang) — 原始 patch
