---
title: DeepSeek-R1-0528-w8a8
canonical_url: "https://www.modelscope.cn/models/gpustack/DeepSeek-R1-0528-w8a8"
md_url: "https://www.modelscope.cn/models/gpustack/DeepSeek-R1-0528-w8a8.md"
repository: gpustack/DeepSeek-R1-0528-w8a8
last_updated: 2025-12-28
license: mit
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - deepseek_v3
architectures:
  - DeepseekV3ForCausalLM
parameters: 684.8B
tensor_type:
  - BF16
  - I8
  - F32
  - I32
library_name:
  - safetensors
  - mindie
frameworks:
  - MindIE
inference_backends:
  - "deploy_task text/emb"
  - "sglang 0.5.2"
  - "vllm 0.9.2"
downloads: 347
stars: 3
---

# DeepSeek-R1-0528-w8a8

> DeepSeek-R1-0528-w8a8 - gpustack 在 ModelScope 开源的模型。DeepSeek-R1-0528 w8a8 量化推理使用指南 functioncall能力增强版本可见ModelersPark/DeepSeek-R1-0528-w8a8-functioncall

gpustack/DeepSeek-R1-0528-w8a8 是 ModelScope 魔搭社区上的 684.8B 参数text-generation模型，采用 mit 许可，可用 deploy_task text/emb、sglang 0.5.2、vllm 0.9.2 部署。

- **Repository**: gpustack/DeepSeek-R1-0528-w8a8
- **License**: mit
- **Tasks**: text-generation
- **Parameters**: 684.8B
- **Inference backends**: deploy_task text/emb, sglang 0.5.2, vllm 0.9.2
- **Downloads**: 347
- **Stars**: 3
- **Last updated**: 2025-12-28

Source: https://www.modelscope.cn/models/gpustack/DeepSeek-R1-0528-w8a8

---

# DeepSeek-R1-0528 w8a8 量化推理使用指南
## function_call能力增强版本可见[Modelers_Park/DeepSeek-R1-0528-w8a8-function_call](https://modelers.cn/models/Modelers_Park/DeepSeek-R1-0528-w8a8-function_call)

<p align="left">
</p>

## 目录


- [模型介绍](#模型介绍)
- [快速开始](#快速开始)
- [声明](#声明)


## 模型介绍

DeepSeek R1 模型经历了一次小版本升级，当前版本为 DeepSeek-R1-0528。在最新更新中，DeepSeek R1 通过利用增加的计算资源和在后训练过程中引入算法优化机制，显著提高了其推理和推断能力的深度。该模型在各种基准评估中表现出色，包括数学、编程和一般逻辑方面。其整体性能现已接近领先模型，如 O3 和 Gemini 2.5 Pro。

与之前的版本相比，升级后的模型在处理复杂推理任务方面有了显著改进。例如，在 AIME 2025 测试中，模型的准确率从之前的 70% 提高到了当前版本的 87.5%。这一进步源于推理过程中思考深度的增强：在 AIME 测试集中，之前的模型平均每题使用 12K 个标记，而新版本平均使用 23K 个标记。

除了改进的推理能力外，此版本还减少了幻觉现象，增强了对函数调用的支持，并提升了代码编写体验。

本模型仓存储的是DeepSeek-R1-0528大模型的W8A8 Int8权重量化版本，其中还包含了**mtp部分的量化权重**。

该权重使用[msmodelslim 8.1.RC2 TR5 分支](https://gitee.com/ascend/msit/blob/br_release_MindStudio_8.1.RC2_TR5_20260624/msmodelslim/example/DeepSeek/README.md)量化得到。

下表为该权重的基本信息。
|       模型       | 量化格式 | GPQA-Diamond (Pass@1) (%) | math500评分 (%) | 权重文件大小 (GB) | 部署所需Atlas 800T A2服务器 |
| :--------------: | :------: | :-----------: | :-----------: | :---------------: | :-------------------------: |
|   DeepSeek-R1-0528    |   Int8   |     84.34     |     98.40     |        647        |        2台（64GB×8）        |

## 快速开始

以下使用 mindie 2.1.rc1 版本进行该模型的部署。

### 权重文件下载

执行以下命令为自定义下载路径`/home/deepseek/DeepSeek-R1-0528-w8a8/`添加白名单：

```shell
export HUB_WHITE_LIST_PATHS=/home/deepseek/DeepSeek-R1-0528-w8a8/
```

执行以下 Python 脚本从魔乐社区下载msmodelslim量化版本的 DeepSeek-R1-0528 W8A8量化模型权重文件至指定路径`/home/deepseek/DeepSeek-R1-0528-w8a8/`。下载的文件包含模型代码、权重、分词模型和示例代码，占用约 650GB 的磁盘空间：

```python
from openmind_hub import snapshot_download

snapshot_download(
    repo_id="Modelers_Park/DeepSeek-R1-0528-w8a8",
    local_dir="/home/deepseek/DeepSeek-R1-0528-w8a8",
    local_dir_use_symlinks=False
)
```

> 注意事项：
> - `/home/deepseek/DeepSeek-R1-0528-w8a8/` 可修改为自定义路径，确保该路径有足够的磁盘空间（约 650GB），且需修改后续容器镜像操作中的路径。
> - 下载时间可能因网络环境而异，建议在稳定的网络环境下操作。
> - 将`local_dir_use_symlinks`设置为`False`，则不会创建软链接。

### 部署推理服务

> 多机推理具体操作流程可参考[DeepSeek R1](https://modelers.cn/models/MindIE/DeepSeek-R1).


#### 加载镜像

以mindie 2.1.rc1为例。

前往[昇腾社区/开发资源](https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f)下载适配，下载镜像前需要申请权限，耐心等待权限申请通过后，根据指南下载对应镜像文件。

镜像版本：2.1.RC1-800I-A2-py311-openeuler24.03-lts
镜像加载后的名称：swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.1.RC1-800I-A2-py311-openeuler24.03-lts

完成之后，请使用`docker images`命令确认查找具体镜像名称与标签。 
```
docker images
```

各组件版本配套如下：
| 组件 | 版本 |
| - | - |
| MindIE | 2.1.rc1 |
| CANN | 8.2.rc1 |
| MindStudio | Msit: br_release_MindStudio_8.1.RC2_TR5_20260624分支 |
| Ascend HDK | 25.2.0 |

#### 权重路径权限问题
注意保证权重路径是可用的，执行以下命令修改模型config.json权限:
```sh
chmod 640 {/path-to-weights/config.json}
```
## 声明
- 本代码仓提到的数据集和模型仅作为示例，这些数据集和模型仅供您用于非商业目的，如您使用这些数据集来完成示例，请您特别注意应遵守对应数据集合模型的License。
- 如您在使用本地代码的过程中，发现任何问题（包括但不限于功能问题、合规问题），请在本代码仓提交issue，我们将及时审视并解答。