---
title: DeepSeek-V4.1-Flash-Channel-INT4-w4a8
canonical_url: "https://www.modelscope.cn/models/hygon/DeepSeek-V4.1-Flash-Channel-INT4-w4a8"
md_url: "https://www.modelscope.cn/models/hygon/DeepSeek-V4.1-Flash-Channel-INT4-w4a8.md"
repository: hygon/DeepSeek-V4.1-Flash-Channel-INT4-w4a8
last_updated: 2026-10-20
license: mit
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
model_type:
  - deepseek_v41
architectures:
  - DeepseekV41ForCausalLM
parameters: 769.1B
tensor_type:
  - F8_E8M0
  - F8_E4M3
  - I64
  - I32
  - BF16
  - F32
  - I8
library_name:
  - safetensors
downloads: 79
stars: 5
---

# DeepSeek-V4.1-Flash-Channel-INT4-w4a8

> DeepSeek-V4.1-Flash-Channel-INT4-w4a8 - hygon 在 ModelScope 开源的模型。DeepSeek-V4.1-Flash-Channel-INT4-w4a8

hygon/DeepSeek-V4.1-Flash-Channel-INT4-w4a8 是 ModelScope 魔搭社区上的 769.1B 参数image-text-to-text模型，采用 mit 许可。

- **Repository**: hygon/DeepSeek-V4.1-Flash-Channel-INT4-w4a8
- **License**: mit
- **Tasks**: image-text-to-text
- **Parameters**: 769.1B
- **Downloads**: 79
- **Stars**: 5
- **Last updated**: 2026-10-20

Source: https://www.modelscope.cn/models/hygon/DeepSeek-V4.1-Flash-Channel-INT4-w4a8

---

# DeepSeek-V4.1-Flash-Channel-INT4-w4a8

本仓库由海光信息（Hygon）发布，模型基于
[deepseek-ai/DeepSeek-V4.1-Flash](https://www.modelscope.cn/models/deepseek-ai/DeepSeek-V4.1-Flash)
进行 Channel INT4 W4A8 量化。

## 1. 基本信息

| 项目 | 内容 |
|---|---|
| 基础模型 | [deepseek-ai/DeepSeek-V4.1-Flash](https://www.modelscope.cn/models/deepseek-ai/DeepSeek-V4.1-Flash) |
| 量化类型 | INT4 W4A8 |
| 权重量化 | Static、Per-Channel |
| 激活量化 | Dynamic、Per-Token |
| 许可证 | MIT |

## 2. 测试步骤


```bash
# 环境准备
docker pull vllm/vllm-openai:v0.30.0
docker run --gpus all -itd \
  --entrypoint /bin/bash \
  -v /opt/hyhal:/opt/hyhal:ro \
  --privileged=true \
  --network=host \
  --device /dev/mem \
  --shm-size=200g \
  --name test_quant \
  vllm/vllm-openai:v0.30.0
docker exec -it test_quant bash
pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple lm_eval[api,math]
pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple evalscope
# Patch vllm with https://github.com/caihl706/vllm/commit/e66eb455c81ec7d1080e2f191fac75a624fb8d98

# 服务启动
export VLLM_ENGINE_READY_TIMEOUT_S=3600
export VLLM_USE_V2_MODEL_RUNNER=1
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
export VLLM_USE_RUST_FRONTEND=1
vllm serve "${MODEL_PATH}" \
  --tokenizer-mode deepseek_v41 \
  --engram-config '{"cpu_offload":true}' \
  --max-num-batched-tokens 4096 \
  --gpu-memory-utilization 0.9 \
  --tensor-parallel-size 8 \
  --tool-call-parser deepseek_v41 \
  --enable-auto-tool-choice \
  --reasoning-parser deepseek_v41 \
  --mm-encoder-tp-mode data \
  --max-model-len 512000 \
  --max-num-seqs 8

# 精度评测
evalscope eval --model "${MODEL_PATH}" \
  --api-url http://localhost:8000/v1 \
  --eval-type openai_api --api-key EMPTY_TOKEN \
  --datasets gsm8k --limit 100
evalscope eval --model "${MODEL_PATH}" \
  --api-url http://localhost:8000/v1 \
  --eval-type openai_api --api-key EMPTY_TOKEN \
  --datasets humaneval --limit 100
evalscope eval --model "${MODEL_PATH}" \
  --api-url http://localhost:8000/v1 \
  --eval-type openai_api --api-key EMPTY_TOKEN \
  --datasets math_500 --dataset-args '{"math_500": {"subset_list": ["Level 3"]}}'
```


## 3. 精度结果

| 数据集 | 指标 | FP4（%） | INT4 W4A8（%） | 差值（百分点） |
|---|---|---:|---:|---:|
| humaneval | / | 100 | 100 | 0 |
| math_500 | / | 98.1 | 98.1 | 0 |
| gsm8k | / | 99 | 99 | 0 |

## 4. 下载方式

```python
from modelscope import snapshot_download

model_dir = snapshot_download(
    "hygon/DeepSeek-V4.1-Flash-Channel-INT4-w4a8"
)
```

## 5. License

本模型沿用上游 deepseek-ai/DeepSeek-V4.1-Flash 的 MIT 许可证，
具体条款请参见 [LICENSE](./LICENSE)。