---
title: Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT
canonical_url: "https://www.modelscope.cn/models/okwinds/Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT"
md_url: "https://www.modelscope.cn/models/okwinds/Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT.md"
repository: okwinds/Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT
chinese_name: "Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT 高精量化"
last_updated: 2024-11-06
license: "Apache License 2.0"
pipeline_tag: text-generation
tasks:
  - text-generation
base_model:
  - Qwen/Qwen2.5-32B-Instruct
base_model_relation: quantized
library_name:
  - gguf
  - pytorch
frameworks:
  - Pytorch
language:
  - en
  - zh
downloads: 566
stars: 2
tags:
  - GGUF
  - Chat
  - Instruct
  - gguf
---

# Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT

> Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT - okwinds 在 ModelScope 开源的模型。Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT 高精量化

okwinds/Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT 是 ModelScope 魔搭社区上的text-generation模型，采用 Apache License 2.0 许可，基于 Qwen/Qwen2.5-32B-Instruct 构建。

- **Repository**: okwinds/Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT
- **License**: Apache License 2.0
- **Tasks**: text-generation
- **Base model**: Qwen/Qwen2.5-32B-Instruct
- **Tags**: GGUF, Chat, Instruct, gguf
- **Downloads**: 566
- **Stars**: 2
- **Last updated**: 2024-11-06

Source: https://www.modelscope.cn/models/okwinds/Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT

---

# Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT 高精量化

- 原模型 [okwinds/Rombos-LLM-V2.5-Qwen-32b](https://www.modelscope.cn/models/okwinds/Rombos-LLM-V2.5-Qwen-32b)
- ***同系合集 [Rombos-LLM-Qwen2.5](https://www.modelscope.cn/collections/Rombos-LLM-Qwen25-4dc8690ad7f541)***

## Quickstart

建议参考官方的[llama.cpp](https://github.com/ggerganov/llama.cpp)文档

#### 手动下载

由于克隆整个存储库可能效率低下，因此你可以手动下载所需的 GGUF 文件或使用 modelscope：

1. 安装
   
   ```shell
   pip install -U modelscope
   ```
2. 下载
   
   ```shell
   modelscope download --model=okwinds/Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT --include "Rombos-LLM-V2.5-Qwen-32b-Q4_K_M-LOT.gguf" --local_dir .
   ```

#### <span style="color:#ff6600">使用 *Ollama*</span>

如果机器上安装了 [Ollama](https://ollama.com/)，还可以通过 [Ollama](https://ollama.com/) 拉取仓库中的模型。如下示例：

- 使用仓库的默认地址会拉取 Q4_K_M 精度的 GGUF 模型

```shell
# 仅拉取模型
ollama pull modelscope.cn/okwinds/Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT

# 拉取模型以后立即运行、推理模型
ollama run modelscope.cn/okwinds/Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT
```

- 拉取指定精度的模型

```shell
# 拉取 Q8_0 精度的 GGUF 模型
ollama pull modelscope.cn/okwinds/Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT:Q8_K
```

## 模型简介

Rombos-LLM-V2.5-Qwen-32b-GGUF-V3-LOT 是一个基于 [okwinds/Rombos-LLM-V2.5-Qwen-32b](https://www.modelscope.cn/models/okwinds/Rombos-LLM-V2.5-Qwen-32b) 的 GGUF (V3) 格式量化模型。

本仓库的GGUF格式概要：

1. 模型权重文件不分片。下载单文件即可用。

2. 模型在量化过程中<span style="color: red;">保留了 output tensor 的激活值</span>，以提升量化后模型的精度表现。本仓库的同量化等级的权重文件，会略大一点，当然，理论上精度也会高一点。

本仓库包含如下量化等级：q2_K、q3_K_M、q4_K_M、q5_K_M、q6_K、q8_0。

## 原模型简介

原模型 [okwinds/Rombos-LLM-V2.5-Qwen-32b](https://www.modelscope.cn/models/okwinds/Rombos-LLM-V2.5-Qwen-32b) 转载于 huggingface 上的 rombodawg/Rombos-LLM-V2.5-Qwen-32b

作者介绍到：原模型是一个基于 [Qwen/Qwen2.5-32B](https://www.modelscope.cn/models/Qwen/Qwen2.5-32B) 的 Continuous Fine-tuning 版本，并通过 [TIES-Merging](https://ar5iv.labs.arxiv.org/html/2306.01708) 方法将合并了adapter的 [Qwen/Qwen2.5-32B-Instruct](https://www.modelscope.cn/models/qwen/qwen2.5-32b-instruct) 与 [Qwen/Qwen2.5-32B](https://www.modelscope.cn/models/Qwen/Qwen2.5-32B) 进行了 TIES Merge。这使得本模型的性能优于原始的 base 模型以及 pretrain 后 fine-tune 的 Instruct 模型。

#### Benchmark

以下摘自 2024-10-28 的 Huggingface 上 [Leadboard](https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard) 排名数据

<span style="color:#ff6600">原模型总榜排名第6。</span>

截图：

<img src="https://www.modelscope.cn/models/okwinds/Rombos-LLM-V2.5-Qwen-32b/resolve/master/HF-Leadboard-2024-10-28.png" />

截图中的数据：

| **Model** |**Average**|**IFEval**|**BBH**|**MATH Lvl 5**|**GPQA**|**MUSR**|**MMLU-PRO**|
|-|-|-|-|-|-|-|-|
|dfurman/CalmeRys-78B-Orpo-v0.1 |50.78|81.63|61.92|37.92|20.02|36.37|66.8|
|MaziyarPanahi/calme-2.4-rys-78b |50.26|80.11|62.16|37.69|20.36|34.57|66.69|
|rombodawg/Rombos-LLM-V2.5-Qwen-72b |45.39|71.55|61.27|47.58|19.8|17.32|54.83|
|dnhkng/RYS-XLarge |44.75|79.96|58.77|38.97|17.9|23.72|49.2|
|MaziyarPanahi/calme-2.1-rys-78b |44.14|81.36|59.47|36.4|19.24|19|49.38|
|<span style="color:#ff6600">*rombodawg/Rombos-LLM-V2.5-Qwen-32b*</span>|44.1|68.27|58.26|39.12|19.57|24.73|54.62|
|MaziyarPanahi/calme-2.3-rys-78b |44.02|80.66|59.57|36.56|20.58|17|49.73|
|MaziyarPanahi/calme-2.2-rys-78b |43.92|79.86|59.27|37.92|20.92|16.83|48.73|
|MaziyarPanahi/calme-2.1-qwen2-72b |43.61|81.63|57.33|36.03|17.45|20.15|49.05|
|dnhkng/RYS-XLarge-base |43.56|79.1|58.69|34.67|17.23|22.42|49.23|
|arcee-ai/Arcee-Nova |43.5|79.07|56.74|40.48|18.01|17.22|49.47|
|MaziyarPanahi/calme-2.2-qwen2-72b |43.4|80.08|56.8|41.16|16.55|16.52|49.27|
<br/>
