---
title: DeepSeek-V3-0324-GGUF-Q4_K_M
canonical_url: "https://www.modelscope.cn/models/YanfeiSong/DeepSeek-V3-0324-GGUF-Q4_K_M"
md_url: "https://www.modelscope.cn/models/YanfeiSong/DeepSeek-V3-0324-GGUF-Q4_K_M.md"
repository: YanfeiSong/DeepSeek-V3-0324-GGUF-Q4_K_M
last_updated: 2025-04-09
license: mit
pipeline_tag: text-generation
tasks:
  - text-generation
base_model:
  - deepseek-ai/DeepSeek-V3-0324
base_model_relation: quantized
library_name:
  - gguf
  - pytorch
frameworks:
  - PyTorch
language:
  - zh
downloads: 9674
stars: 16
tags:
  - gguf
---

# DeepSeek-V3-0324-GGUF-Q4_K_M

> DeepSeek-V3-0324-GGUF-Q4_K_M - YanfeiSong 在 ModelScope 开源的模型。这是DeepSeek-V3模型的Q4_k_m量化版本, 用来进行本地部署

YanfeiSong/DeepSeek-V3-0324-GGUF-Q4_K_M 是 ModelScope 魔搭社区上的text-generation模型，采用 mit 许可，基于 deepseek-ai/DeepSeek-V3-0324 构建。

- **Repository**: YanfeiSong/DeepSeek-V3-0324-GGUF-Q4_K_M
- **License**: mit
- **Tasks**: text-generation
- **Base model**: deepseek-ai/DeepSeek-V3-0324
- **Tags**: gguf
- **Downloads**: 9674
- **Stars**: 16
- **Last updated**: 2025-04-09

Source: https://www.modelscope.cn/models/YanfeiSong/DeepSeek-V3-0324-GGUF-Q4_K_M

---

<img src="./ucap.jpg" alt="Logo" width="5%" title="logo">

### 这是DeepSeek-V3模型0324小版本的Q4_k_m量化版本，使用Ktransformer和Llama.cpp 进行部署

## Ktransformer使用方式

使用两个socket, 一张4090 48G, decode速度在16.7左右(685b 8expert). (0.2.3)

<img src="./1.jpg" alt="DeepSeek-V3生成示例" width="35%" title="DeepSeek-V3生成示例">

使用Ktransformers(0.2.4)进行本地推理，可运行以下命令拉起OpenAI的API：

```bash
python ktransformers/server/main.py \
    --gguf_path /home/ucap/model/DeepSeek-V3-Q4_K_M-0324  \
    --model_path /home/ucap/Project/DeepSeek-V3 \
    --model_name DeepSeek-V3 \
    --cpu_infer 65 \
    --max_new_tokens 8192 \
    --cache_lens 32768 \
    --temperature 0.6 \
    --top_p 0.95 \
    --optimize_config_path ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-serve.yaml \
    --host 0.0.0.0 \
    --port 6678 \
    --max_batch_size 4 \
    --use_cuda_graph \
    --backend_type balance_serve 
```

使用Ktransformers(0.2.3),可运行以下命令拉起OpenAI的API：

```bash
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True python3 ktransformers/server/main.py \
    --gguf_path YanfeiSong/DeepSeek-V3-0324-GGUF-Q4_K_M \
    --model_path deepseek-ai/DeepSeek-V3-0324 \
    --model_name DeepSeek-V3-0324 \
    --cpu_infer 65 \
    --max_new_tokens 8192 \
    --cache_lens 32768 \
    --total_context 32768 \
    --temperature 0.6 \
    --top_p 0.95 \
    --optimize_config_path ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat.yaml \
    --use_cuda_graph \
    --host 127.0.0.1 \
    --port 6678
```
<img src="./1.png" alt="DeepSeek-V3-0324" width="90%" title="DeepSeek-V3-0324">
---


#### 您可以通过如下git clone命令，或者ModelScope SDK来下载模型

SDK下载
```bash
#安装ModelScope
pip install modelscope
```
```python
#SDK模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('YanfeiSong/DeepSeek-V3-0324-GGUF-Q4_K_M')
```
Git下载
```
#Git模型下载
git clone https://www.modelscope.cn/YanfeiSong/DeepSeek-V3-0324-GGUF-Q4_K_M.git
```