---
title: DeepSeek-V4.1-Flash-1017-Fastllm-2.5bit
canonical_url: "https://www.modelscope.cn/models/huangyuyang/DeepSeek-V4.1-Flash-1017-Fastllm-2.5bit"
md_url: "https://www.modelscope.cn/models/huangyuyang/DeepSeek-V4.1-Flash-1017-Fastllm-2.5bit.md"
repository: huangyuyang/DeepSeek-V4.1-Flash-1017-Fastllm-2.5bit
last_updated: 2026-10-21
license: mit
pipeline_tag: text-generation
tasks:
  - text-generation
parameters: 769.4B
tensor_type:
  - F8_E4M3
  - F32
  - fastllm
  - BF16
  - F8_E8M0
library_name:
  - safetensors
downloads: 3892
stars: 1
---

# DeepSeek-V4.1-Flash-1017-Fastllm-2.5bit

> DeepSeek-V4.1-Flash-1017-Fastllm-2.5bit - huangyuyang 在 ModelScope 开源的模型。DeepSeek-V4.1-Flash-1017 FastLLM 2.5bit quantized weights (180GB-class non-Engram export)

huangyuyang/DeepSeek-V4.1-Flash-1017-Fastllm-2.5bit 是 ModelScope 魔搭社区上的 769.4B 参数text-generation模型，采用 mit 许可。

- **Repository**: huangyuyang/DeepSeek-V4.1-Flash-1017-Fastllm-2.5bit
- **License**: mit
- **Tasks**: text-generation
- **Parameters**: 769.4B
- **Downloads**: 3892
- **Stars**: 1
- **Last updated**: 2026-10-21

Source: https://www.modelscope.cn/models/huangyuyang/DeepSeek-V4.1-Flash-1017-Fastllm-2.5bit

---

# DeepSeek-V4.1-Flash-1017 · FastLLM 2.5bit（180GB 非 Engram）

这是 **FastLLM 专用格式**的 DeepSeek-V4.1-Flash-1017 量化导出，不是 Hugging Face
Transformers 原生权重，不能直接用 Transformers、vLLM 或 SGLang 加载。

本仓库提供约 180 GB 非 Engram 权重的 2.5bit 版本。FastLLM 导出同时包含独立的
Engram 权重，因此仓库的逻辑文件总量为 **356.4 GiB**，不是 180 GiB。模型目录共
339 个文件，权重文件合计 **382,682,741,864 bytes**。导出完整且自包含，权重没有
symlink。

## 模型规格

- 架构：`DeepseekV41ForCausalLM` / `deepseek_v41`
- 上下文：`1,048,576` tokens（1M）
- 词表：`129,280`
- MoE：384 个 routed experts，每 token 选择 6 个，另有 1 个 shared expert
- 导出格式：FastLLM
- 非 Engram 权重：`179,609,664,288 bytes`（约 167.3 GiB）
- Engram 权重：`203,073,077,576 bytes`（约 189.1 GiB）
- 导出工具：FastLLM commit `999039d20049a18b4924e881bb8822bfe5a55d84`
- 导出状态：`complete: true`、`self_contained: true`、`requantized: false`

主要目录：

```text
engram/       Engram 权重
experts/      MoE expert 权重
dense/        dense 层权重
original/     原始配置/附加权重
config.json
fastllm_export.json
model.safetensors.index.json
tokenizer.json
tokenizer_config.json
```

量化类型及 tensor 数量：

| 类型 | 数量 |
|---|---:|
| Q2_0 | 38,016 |
| Q3_K | 8,832 |
| Q4_K | 818 |

## 运行要求

- 至少预留 **356.4 GiB** 的逻辑文件空间。
- 需要包含上述 commit 或兼容版本的 FastLLM 构建。请按 FastLLM 上游说明安装
  对应的 `ftllm` 环境。
- 实际显存、主机内存和并发能力取决于所选 FastLLM 后端、设备放置与上下文长度，
  不应只按非 Engram 的 180 GB 估算。

加载方式请按所使用的 FastLLM 版本及其官方文档配置。本仓库只提供模型权重和导出
元数据，不附带 FastLLM 运行环境。

## 说明与许可

本仓库是上游 DeepSeek 模型的第三方量化/格式转换导出，不是 DeepSeek 官方发布。
请同时遵守上游模型的使用条款。仓库内附带 `LICENSE` 为 MIT License，版权归
DeepSeek 所有。
