---
title: DeepSeek-V4.1-Flash-1017-W4AFP8-mt
canonical_url: "https://www.modelscope.cn/models/MooreThreads/DeepSeek-V4.1-Flash-1017-W4AFP8-mt"
md_url: "https://www.modelscope.cn/models/MooreThreads/DeepSeek-V4.1-Flash-1017-W4AFP8-mt.md"
repository: MooreThreads/DeepSeek-V4.1-Flash-1017-W4AFP8-mt
last_updated: 2026-10-26
license: mit
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - deepseek_v41
architectures:
  - DeepseekV41ForCausalLM
base_model_relation: quantized
parameters: 484.6B
tensor_type:
  - F32
  - I8
  - BF16
  - F8_E8M0
  - F8_E4M3
library_name:
  - safetensors
downloads: 3720
stars: 2
---

# DeepSeek-V4.1-Flash-1017-W4AFP8-mt

> DeepSeek-V4.1-Flash-1017-W4AFP8-mt - MooreThreads 在 ModelScope 开源的模型。DeepSeek-V4.1-Flash-1017-W4AFP8-mt

MooreThreads/DeepSeek-V4.1-Flash-1017-W4AFP8-mt 是 ModelScope 魔搭社区上的 484.6B 参数text-generation模型，采用 mit 许可。

- **Repository**: MooreThreads/DeepSeek-V4.1-Flash-1017-W4AFP8-mt
- **License**: mit
- **Tasks**: text-generation
- **Parameters**: 484.6B
- **Downloads**: 3720
- **Stars**: 2
- **Last updated**: 2026-10-26

Source: https://www.modelscope.cn/models/MooreThreads/DeepSeek-V4.1-Flash-1017-W4AFP8-mt

---

# DeepSeek-V4.1-Flash-1017-W4AFP8-mt

## 模型介绍

本模型为 **DeepSeek-V4.1-Flash-1017** MoE 量化版本（W4AFP8）。

源权重为 packed FP4 的 `DeepSeek-V4.1-Flash-1017`（`num_hidden_layers = 40`，`moe_intermediate_size = 2304`，`n_routed_experts = 384`，含 DSpark / MTP）。结构与 1017 相同，仅将 routed / MTP expert 权重量化为 W4AFP8。

## 量化方式

- 原始 expert 权重从 packed FP4（e2m1 + e8m0 scale）转换为 signed INT4
- scale 的 group size 从源 FP4 的 32 调整为 128
- recipe：`direct-fp4-to-symmetric-int4-group128`
- 仅转换 `layers.*.ffn.experts.*.w{1,2,3}` 与 `mtp.*.ffn.experts.*.w{1,2,3}`
- Attention、shared expert、engram 及其他张量保持原样（含源模型 dense FP8 约定）
- `config.json` 中 `quantization_config`：
  - `quant_method = w4afp8`，`activation_scheme = dynamic`，`fmt = e4m3`
  - `moe_group_size = 128`（routed expert INT4 group）
  - 保留源配置的 `weight_block_size = [32, 32]`、`scale_fmt = ue8m0`、`expert_dtype = fp4`（供未改动的 dense / 兼容字段使用；与 MoE INT4 的 `moe_group_size` 并存）

## 权重约定

- `*.weight`：两个 INT4 打包进一个 `int8`
- `*.weight_scale_inv`：`float32`，shape `[N, K/128]`
  - 示例 `layers.0.ffn.experts.0.w1`：`weight` `[2304, 2560]`（逻辑 K=5120），`weight_scale_inv` `[2304, 40]`
  - 示例 `layers.0.ffn.experts.0.w2`：`weight` `[5120, 1152]`（逻辑 K=2304），`weight_scale_inv` `[5120, 18]`
- `*.input_scale`：`bfloat16` 占位（shape `[1]`）
- 量化分片：`model-w4afp8-layer00`–`layer39.safetensors`（**40** 层 routed）、`model-w4afp8-mtp00`–`mtp02.safetensors`（3 个 MTP）
- 未改张量仍在 `model-00001-of-00048.safetensors` … `model-00048-of-00048.safetensors`
