--- title: Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16 canonical_url: "https://www.modelscope.cn/models/okwinds/Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16" md_url: "https://www.modelscope.cn/models/okwinds/Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16.md" repository: okwinds/Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16 chinese_name: "Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16 量化高精校准" last_updated: 2024-11-03 license: "Apache License 2.0" pipeline_tag: text-generation tasks: - text-generation model_type: - qwen2 architectures: - Qwen2ForCausalLM base_model: - Qwen/Qwen2.5-32B-Instruct base_model_relation: quantized parameters: 5.7B tensor_type: - I32 - I64 - BF16 library_name: - safetensors - pytorch frameworks: - Pytorch language: - en - cn inference_backends: - "deploy_task text/emb" - "lmdeploy 0.9.1" - "lmdeploy_turbomind 0.9.1" - "sglang 0.5.2" - "vllm 0.9.2" downloads: 67 stars: 4 tags: - Chat - Instruct - fine-tuned --- # Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16 > Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16 - okwinds 在 ModelScope 开源的模型。Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16 量化高精校准 okwinds/Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16 是 ModelScope 魔搭社区上的 5.7B 参数text-generation模型，采用 Apache License 2.0 许可，基于 Qwen/Qwen2.5-32B-Instruct 构建，可用 deploy_task text/emb、lmdeploy 0.9.1、lmdeploy_turbomind 0.9.1 部署。 - **Repository**: okwinds/Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16 - **License**: Apache License 2.0 - **Tasks**: text-generation - **Parameters**: 5.7B - **Base model**: Qwen/Qwen2.5-32B-Instruct - **Inference backends**: deploy_task text/emb, lmdeploy 0.9.1, lmdeploy_turbomind 0.9.1, sglang 0.5.2, vllm 0.9.2 - **Tags**: Chat, Instruct, fine-tuned - **Downloads**: 67 - **Stars**: 4 - **Last updated**: 2024-11-03 Source: https://www.modelscope.cn/models/okwinds/Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16 --- # Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16 量化高精校准 - 原模型 [okwinds/Rombos-LLM-V2.5-Qwen-32b](https://www.modelscope.cn/models/okwinds/Rombos-LLM-V2.5-Qwen-32b) - ***同系合集 [Rombos-LLM-Qwen2.5](https://www.modelscope.cn/collections/Rombos-LLM-Qwen25-4dc8690ad7f541)*** ## Download SDK下载 ```bash #安装ModelScope pip install modelscope ``` ```python #SDK模型下载 from modelscope import snapshot_download model_dir = snapshot_download('okwinds/Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16') ``` Git下载 ``` #Git模型下载 git clone https://www.modelscope.cn/okwinds/Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16.git ``` ## 模型概述 Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16 是一个基于 [okwinds/Rombos-LLM-V2.5-Qwen-32b](https://www.modelscope.cn/models/okwinds/Rombos-LLM-V2.5-Qwen-32b) 的 INT4 量化并校准的模型。 - **模型名称:** Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16 - **模型架构:** Qwen2.5 - **权重量化:** INT4 - **Model tree**
 Base model - [Qwen/Qwen2.5-32B](https://www.modelscope.cn/models/Qwen/Qwen2.5-32B)
  ╰─ Finetuned - [Qwen/Qwen2.5-32B-Instruct](https://www.modelscope.cn/models/Qwen/Qwen2.5-32B-Instruct)
        ╰─ Finetuned - 原模型 [okwinds/Rombos-LLM-V2.5-Qwen-32b](https://www.modelscope.cn/models/okwinds/Rombos-LLM-V2.5-Qwen-32b)
               ╰─ Quantization [**本模型 Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16**](https://www.modelscope.cn/models/okwinds/Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16) 本模型通过将 [okwinds/Rombos-LLM-V2.5-Qwen-32b](https://www.modelscope.cn/models/okwinds/Rombos-LLM-V2.5-Qwen-32b) 的权重量化为 INT4 数据类型而实现。 量化过程将每个参数从 16bit 减少到 4bit，将模型占用磁盘空间大小，以及推理时加载模型需要的GPU显存空间，减少到了大约为原模型的1/4。只有 transformer 中的 Linear 层权重是量化的，其他层均保持为原模型数据类型，采用了混合精度的计算方式，尽可能减少模型量化后所带来的精度损失。 量化本模型，使用了[AutoGPTQ](https://github.com/AutoGPTQ/AutoGPTQ)，采用 Symmetric group-wise 方式量化（group size : 128）。并在量化过程中，进行了数据校准，以提升模型生成精度，修复 gptq-int4 模型出现乱吐字和无限循环的问题（*如循环输出 !!!!!*）。 > 注意：本模型需要 compute capability > 8.0（Ampere、Ada Lovelace、Hopper 架构）的 Nvidia GPU 来支持 INT4 **混合精度**计算。 ## 部署推理 #### 推荐使用 vLLM Openai api 兼容模式 ```bash >>> vllm serve "/home/gavin/llm/Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16" --host 0.0.0.0 --port 8000 --gpu-memory-utilization 0.9 --served-model-name "Rombos-LLM-V2.5-Qwen-32b-Int4-W4A16" ``` ## 原模型简介 原模型 [okwinds/Rombos-LLM-V2.5-Qwen-32b](https://www.modelscope.cn/models/okwinds/Rombos-LLM-V2.5-Qwen-32b) 转载于 huggingface 上的 rombodawg/Rombos-LLM-V2.5-Qwen-32b 作者介绍到：原模型是一个基于 [Qwen/Qwen2.5-32B](https://www.modelscope.cn/models/Qwen/Qwen2.5-32B) 的 Continuous Fine-tuning 版本，并通过 [TIES-Merging](https://ar5iv.labs.arxiv.org/html/2306.01708) 方法将合并了adapter的 [Qwen/Qwen2.5-32B-Instruct](https://www.modelscope.cn/models/qwen/qwen2.5-32b-instruct) 与 [Qwen/Qwen2.5-32B](https://www.modelscope.cn/models/Qwen/Qwen2.5-32B) 进行了 TIES Merge。这使得本模型的性能优于原始的 base 模型以及 pretrain 后 fine-tune 的 Instruct 模型。 #### Benchmark 以下摘自 2024-10-28 的 Huggingface 上 [Leadboard](https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard) 排名数据 原模型总榜排名第6。 截图： 截图中的数据： | **Model** |**Average**|**IFEval**|**BBH**|**MATH Lvl 5**|**GPQA**|**MUSR**|**MMLU-PRO**| |-|-|-|-|-|-|-|-| |dfurman/CalmeRys-78B-Orpo-v0.1 |50.78|81.63|61.92|37.92|20.02|36.37|66.8| |MaziyarPanahi/calme-2.4-rys-78b |50.26|80.11|62.16|37.69|20.36|34.57|66.69| |rombodawg/Rombos-LLM-V2.5-Qwen-72b |45.39|71.55|61.27|47.58|19.8|17.32|54.83| |dnhkng/RYS-XLarge |44.75|79.96|58.77|38.97|17.9|23.72|49.2| |MaziyarPanahi/calme-2.1-rys-78b |44.14|81.36|59.47|36.4|19.24|19|49.38| |*rombodawg/Rombos-LLM-V2.5-Qwen-32b*|44.1|68.27|58.26|39.12|19.57|24.73|54.62| |MaziyarPanahi/calme-2.3-rys-78b |44.02|80.66|59.57|36.56|20.58|17|49.73| |MaziyarPanahi/calme-2.2-rys-78b |43.92|79.86|59.27|37.92|20.92|16.83|48.73| |MaziyarPanahi/calme-2.1-qwen2-72b |43.61|81.63|57.33|36.03|17.45|20.15|49.05| |dnhkng/RYS-XLarge-base |43.56|79.1|58.69|34.67|17.23|22.42|49.23| |arcee-ai/Arcee-Nova |43.5|79.07|56.74|40.48|18.01|17.22|49.47| |MaziyarPanahi/calme-2.2-qwen2-72b |43.4|80.08|56.8|41.16|16.55|16.52|49.27|