---
title: DeepSeek-R1-0528-Qwen3-8B-MNN
canonical_url: "https://www.modelscope.cn/models/MNN/DeepSeek-R1-0528-Qwen3-8B-MNN"
md_url: "https://www.modelscope.cn/models/MNN/DeepSeek-R1-0528-Qwen3-8B-MNN.md"
repository: MNN/DeepSeek-R1-0528-Qwen3-8B-MNN
last_updated: 2026-11-12
license: mit
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - text-generation
library_name:
  - mnn
frameworks:
  - MNN
language:
  - zh
  - en
domain:
  - nlp
downloads: 246
stars: 7
---

# DeepSeek-R1-0528-Qwen3-8B-MNN

> DeepSeek-R1-0528-Qwen3-8B-MNN - MNN 在 ModelScope 开源的模型。DeepSeek-R1-0528-Qwen3-8B-MNN

MNN/DeepSeek-R1-0528-Qwen3-8B-MNN 是 ModelScope 魔搭社区上的text-generation模型，采用 mit 许可。

- **Repository**: MNN/DeepSeek-R1-0528-Qwen3-8B-MNN
- **License**: mit
- **Tasks**: text-generation
- **Downloads**: 246
- **Stars**: 7
- **Last updated**: 2026-11-12

Source: https://www.modelscope.cn/models/MNN/DeepSeek-R1-0528-Qwen3-8B-MNN

---

# DeepSeek-R1-0528-Qwen3-8B-MNN

本仓库是由 [deepseek-ai/DeepSeek-R1-0528-Qwen3-8B](https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-0528-Qwen3-8B/summary) 转换的 MNN 文本推理包，输入 / 输出为文本 / 文本。

验收日期：**2026-11-12**；工具版本：**MNN 3.6.2**；源码提交：`b0239771b07b317a258fbc384683bbd540741406`。

**验证边界：仅验证 x64 CPU；ARM CPU FP16、Metal、OpenCL、Vulkan、CUDA 及移动设备均未验证。**

## 原始模型介绍

源配置声明架构 `Qwen3ForCausalLM`，model_type=`qwen3`，语言层数为 36。配置未声明路由专家；不根据仓库名称推断架构或参数量。本卡不转述未经本包测量的上游评测、性能或能力宣传；量化后输出仍可能出错。

| 项目 | 实际核验信息 |
| --- | --- |
| 原始模型 | [deepseek-ai/DeepSeek-R1-0528-Qwen3-8B](https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-0528-Qwen3-8B/summary) |
| 输入 / 输出 | 文本 / 文本；只导出语言模块 |
| 架构 / 类型 / 层数 | `Qwen3ForCausalLM` / `qwen3` / 36 |
| 语言主干线性权重 | HQQ 4-bit；block=128；alpha_bytes=2（FP16）；sym=false |
| LM 输出头 | HQQ 4-bit；block=128；alpha_bytes=2（FP16）；sym=false |
| 输入嵌入 | 独立 BF16 文件 `embeddings_bf16.bin`；嵌入布局不等同于线性层尺度存储 |
| 配置上下文字段 | max_position_embeddings=131072；不是实测最大上下文 |

## 下载

优先从 ModelScope 下载整包到明确目录：

```bash
export MODEL_DIR="$PWD/DeepSeek-R1-0528-Qwen3-8B-MNN"
python -m pip install -U modelscope
python - <<'PY'
import os
from modelscope import snapshot_download
snapshot_download("MNN/DeepSeek-R1-0528-Qwen3-8B-MNN", local_dir=os.environ['MODEL_DIR'])
PY
```

Hugging Face 镜像为备选，显式使用镜像端点：

```bash
export HF_ENDPOINT=https://hf-mirror.com
export MODEL_DIR="$PWD/DeepSeek-R1-0528-Qwen3-8B-MNN"
python -m pip install -U huggingface_hub
hf download taobao-mnn/DeepSeek-R1-0528-Qwen3-8B-MNN --local-dir "$MODEL_DIR"
```

图、外部权重、分词器、嵌入、模板与配置须整包配套更新。不要混用修订或只替换图文件；更新应用中自己管理的旧缓存，不删除共享缓存。

## MNN 版本与编译

运行时基线为 **MNN 3.6.2** 与下列已验证提交，并需要 LLM、低内存与 Transformer 融合支持。更旧版本未验证，更高版本也需自行回归。准备 Git、CMake、Python 与 C++ 工具链；在新工作目录运行：

```python
from pathlib import Path
import subprocess

MNN_DIR = Path.cwd() / 'MNN'
BUILD_DIR = MNN_DIR / 'build'
subprocess.run(['git', 'clone', 'https://github.com/alibaba/MNN.git', str(MNN_DIR)], check=True)
subprocess.run(['git', '-C', str(MNN_DIR), 'checkout', "b0239771b07b317a258fbc384683bbd540741406"], check=True)
subprocess.run(['bash', str(MNN_DIR / 'schema/generate.sh')], cwd=MNN_DIR, check=True)
subprocess.run(['cmake', '-S', str(MNN_DIR), '-B', str(BUILD_DIR),
                '-DCMAKE_BUILD_TYPE=Release', '-DMNN_BUILD_LLM=ON', '-DMNN_LOW_MEMORY=ON',
                '-DMNN_BUILD_CONVERTER=ON', '-DMNN_SUPPORT_TRANSFORMER_FUSE=ON',
                '-DMNN_SEP_BUILD=OFF'], check=True)
subprocess.run(['cmake', '--build', str(BUILD_DIR), '--parallel', '4'], check=True)
```

## 转换方法

以下示例使用当前固定提交的标准导出器；没有未经验证的自定义 FP32 加载包装。原始下载不执行远端模型代码，导出依赖见该提交的 requirements.txt。

```bash
export HF_ENDPOINT=https://hf-mirror.com
export MNN_DIR="$PWD/MNN"
export SOURCE_DIR="$PWD/original/DeepSeek-R1-0528-Qwen3-8B-MNN"
export OUTPUT_DIR="$PWD/reexported/DeepSeek-R1-0528-Qwen3-8B-MNN"
python -m pip install -r "$MNN_DIR/transformers/llm/export/requirements.txt"
python - <<'PY'
import os
from modelscope import snapshot_download
snapshot_download("deepseek-ai/DeepSeek-R1-0528-Qwen3-8B", local_dir=os.environ['SOURCE_DIR'])
PY
python "$MNN_DIR/transformers/llm/export/llmexport.py" \
  --path "$SOURCE_DIR" --export mnn --hqq \
  --quant_bit 4 --quant_block 128 \
  --lm_quant_bit 4 --lm_quant_block 128 \
  --scale_bit 16 --embed_bit 16 --seperate_embed \
  --mnnconvert "$MNN_DIR/build/MNNConvert" --dst_path "$OUTPUT_DIR"
```

`--seperate_embed` 为实际参数拼写，仅在本包确实使用该选项时加入上述命令。实际输入嵌入为：独立 BF16 文件 `embeddings_bf16.bin`；嵌入布局不等同于线性层尺度存储。完整参数见 [export_args.json](export_args.json)，实际量化布局见 [refresh_metadata.json](refresh_metadata.json)；null 参数表示未显式传入，不应理解为新的运行时默认。

示例下载上游当前快照；逐文件修订与 SHA256 是溯源信息，不能将 `sha256:` 指纹当作下载 revision。跨依赖版本重导出不保证字节一致；使用全新输出目录并重新验收，不复用旧权重偏移或随意更换模板。

## 推理与测试

### 随包默认配置

[config.json](config.json) 与 [llm_config.json](llm_config.json) 的显式有效运行项为 `{"backend_type": "cpu", "max_new_tokens": 2048, "memory": "low", "min_p": 0, "mixed_samplers": ["topK", "topP", "min_p", "temperature"], "precision": "low", "sampler_type": "mixed", "temperature": 0.6, "thread_num": 4, "top_k": 20, "top_p": 0.95}`。未声明采样参数采用该提交的运行时默认，不猜测 temperature、采样器或惩罚。默认 Jinja context 为 `null`；reasoning 分类为 `forced`，不擅自关闭强制思考。

默认生成上限为 **2048 token**（随包 max_new_tokens）。保持随包配置不变：

```bash
export MNN_DIR="$PWD/MNN"
export MODEL_DIR="$PWD/DeepSeek-R1-0528-Qwen3-8B-MNN"
python - <<'PY'
from pathlib import Path
Path('prompt.txt').write_text('What is 2 + 3? Reply with only the number.\n', encoding='utf-8')
PY
"$MNN_DIR/build/llm_demo" "$MODEL_DIR/config.json" "$PWD/prompt.txt"
```

### 分离的验证结论

- **FP32 映射对齐**：源实现与 exporter 的 prefill / decode、embedding、代表层、norm、logits 对齐通过；范围为完整 36 层，不代表量化输出逐 token 一致。
- **确定性验证**：x64 CPU、greedy、precision=high、8 线程、use_mmap=false；生成预算 8192，测试 Jinja context=`{"enable_thinking": false}`。预定义用例 `greeting, arithmetic, translation, long_translation` 恰好各覆盖一次；模板与输入 token 一致、自然停止、无替换字符及异常重复。这些预定义期望通过，不构成全面准确率基准。
- **真实默认 smoke**：保持默认采样、精度与思考上下文，requested_max_tokens=-1，由运行时决定 2048 token 上限；全部预定义用例结构检查通过且未超限。测试仅隔离 base_dir/tmp_path/use_mmap；mmap 模式为 `[false]`。默认输出的期望检查仅供参考，不是准确率通过结论。
- **输入长度**：实际 prompt token 范围 **25–881**；长输入用例 token 数为 `{"long_translation": 881}`。这是这些用例的长度，不是最大上下文验证。

未发布性能测速或设备内存数字；无 GPU、手机 FP16、视觉、音频或视频验证结论。原始日志及完整报告仅保存在本地，公开元数据提供文件哈希、配置、检查摘要与明确限制。

## 许可证与来源

沿用实际上游许可 **mit**（元数据标识 `mit`），原许可链接：[mit](LICENSE)。随包原文保持不变：[LICENSE](LICENSE)。请逐项履行原许可、署名与使用政策义务。量化转换不扩大授权；模型权利归上游，MNN 工具的许可不替代模型许可。

来源与可复核信息：[原始模型](https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-0528-Qwen3-8B/summary) · [导出参数](export_args.json) · [验证元数据](refresh_metadata.json)。
工具：[固定提交的 MNN 导出器](https://github.com/alibaba/MNN/tree/b0239771b07b317a258fbc384683bbd540741406/transformers/llm/export) · [MNN-LLM 文档](https://mnn-docs.readthedocs.io/en/latest/transformers/llm.html)。