---
title: DeepSeek-V3-GGUF-V3-LOT
canonical_url: "https://www.modelscope.cn/models/okwinds/DeepSeek-V3-GGUF-V3-LOT"
md_url: "https://www.modelscope.cn/models/okwinds/DeepSeek-V3-GGUF-V3-LOT.md"
repository: okwinds/DeepSeek-V3-GGUF-V3-LOT
chinese_name: "DeepSeek-V3-GGUF-V3-LOT 高精量化"
last_updated: 2025-01-15
license: apache-2.0
pipeline_tag: text-generation
tasks:
  - text-generation
base_model:
  - deepseek-ai/DeepSeek-V3
base_model_relation: quantized
library_name:
  - gguf
  - pytorch
frameworks:
  - Pytorch
language:
  - en
  - zh
downloads: 2669
stars: 7
tags:
  - GGUF
  - Chat
  - Instruct
  - gguf
---

# DeepSeek-V3-GGUF-V3-LOT

> DeepSeek-V3-GGUF-V3-LOT - okwinds 在 ModelScope 开源的模型。DeepSeek-V3-GGUF-V3-LOT 高精量化

okwinds/DeepSeek-V3-GGUF-V3-LOT 是 ModelScope 魔搭社区上的text-generation模型，采用 apache-2.0 许可，基于 deepseek-ai/DeepSeek-V3 构建。

- **Repository**: okwinds/DeepSeek-V3-GGUF-V3-LOT
- **License**: apache-2.0
- **Tasks**: text-generation
- **Base model**: deepseek-ai/DeepSeek-V3
- **Tags**: GGUF, Chat, Instruct, gguf
- **Downloads**: 2669
- **Stars**: 7
- **Last updated**: 2025-01-15

Source: https://www.modelscope.cn/models/okwinds/DeepSeek-V3-GGUF-V3-LOT

---

# DeepSeek-V3-GGUF-V3-LOT 高精量化

- 原模型 [deepseek-ai/DeepSeek-V3](https://www.modelscope.cn/models/deepseek-ai/DeepSeek-V3)

## Quickstart

建议参考官方的[llama.cpp](https://github.com/ggerganov/llama.cpp)文档

#### 手动下载

由于克隆整个存储库可能效率低下，因此你可以手动下载所需的 GGUF 文件或使用 modelscope：

1. 安装
   
   ```shell
   pip install -U modelscope
   ```
2. 下载
   
   ```shell
   modelscope download --model=okwinds/DeepSeek-V3-GGUF-V3-LOT --include "DeepSeek-V3-Q2-00001-of-00007.gguf" --local_dir .
   ```

#### <span style="color:#ff6600">使用 *Ollama*</span>

如果机器上安装了 [Ollama](https://ollama.com/)，还可以通过 [Ollama](https://ollama.com/) 拉取仓库中的模型。如下示例：

- 使用仓库的默认地址会拉取 Q4_K_M 精度的 GGUF 模型

```shell
# 仅拉取模型
ollama pull modelscope.cn/okwinds/DeepSeek-V3-GGUF-V3-LOT

# 拉取模型以后立即运行、推理模型
ollama run modelscope.cn/okwinds/DeepSeek-V3-GGUF-V3-LOT
```

- 拉取指定精度的模型

```shell
# 拉取 Q8_0 精度的 GGUF 模型
ollama pull modelscope.cn/okwinds/DeepSeek-V3-GGUF-V3-LOT:Q8_0
```

## 模型简介

okwinds/DeepSeek-V3-GGUF-V3-LOT 是一个基于 deepseek-ai/DeepSeek-V3 的 GGUF 格式量化模型。

模型在量化过程中<span style="color: red;">保留了 output tensor 的激活值</span>，以提升量化后模型的精度表现。所以相比一般量化的 GGUF 格式模型，本仓库的同量化等级的权重文件，会略大一点，当然，理论上精度也会高一点。

本仓库包含如下量化等级：q2_K、q3_K_M、q4_K_M、q5_K_M、q6_K。

<br/>
<br/>
_______________________________

#### _作者在此 👇🏻 扫一扫_

<img src="https://www.modelscope.cn/models/okwinds/GPT-2/resolve/master/qrcode_for_jcl_258.jpg" />