---
title: Qwen2-VL-7B-Instruct-MLX-8bit
canonical_url: "https://www.modelscope.cn/models/okwinds/Qwen2-VL-7B-Instruct-MLX-8bit"
md_url: "https://www.modelscope.cn/models/okwinds/Qwen2-VL-7B-Instruct-MLX-8bit.md"
repository: okwinds/Qwen2-VL-7B-Instruct-MLX-8bit
chinese_name: "通义千问 Qwen2-VL-7B-Instruct-MLX-8bit"
last_updated: 2024-12-10
license: "Apache License 2.0"
pipeline_tag: visual-question-answering
tasks:
  - visual-question-answering
model_type:
  - qwen2_vl
architectures:
  - Qwen2VLForConditionalGeneration
base_model:
  - Qwen/Qwen2-VL-7B-Instruct
base_model_relation: finetune
parameters: 2.3B
tensor_type:
  - F16
  - U32
library_name:
  - mlx
  - safetensors
  - pytorch
frameworks:
  - Pytorch
inference_backends:
  - "deploy_task vlm/text/emb"
  - "lmdeploy 0.9.1"
  - "sglang 0.5.2"
  - "vllm 0.9.2"
downloads: 165
stars: 1
tags:
  - Chat
  - Vision
  - Instruct
  - MLX
---

# Qwen2-VL-7B-Instruct-MLX-8bit

> Qwen2-VL-7B-Instruct-MLX-8bit - okwinds 在 ModelScope 开源的模型。Qwen2-VL-7B-Instruct-MLX-8bit

okwinds/Qwen2-VL-7B-Instruct-MLX-8bit 是 ModelScope 魔搭社区上的 2.3B 参数visual-question-answering模型，采用 Apache License 2.0 许可，基于 Qwen/Qwen2-VL-7B-Instruct 构建，可用 deploy_task vlm/text/emb、lmdeploy 0.9.1、sglang 0.5.2 部署。

- **Repository**: okwinds/Qwen2-VL-7B-Instruct-MLX-8bit
- **License**: Apache License 2.0
- **Tasks**: visual-question-answering
- **Parameters**: 2.3B
- **Base model**: Qwen/Qwen2-VL-7B-Instruct
- **Inference backends**: deploy_task vlm/text/emb, lmdeploy 0.9.1, sglang 0.5.2, vllm 0.9.2
- **Tags**: Chat, Vision, Instruct, MLX
- **Downloads**: 165
- **Stars**: 1
- **Last updated**: 2024-12-10

Source: https://www.modelscope.cn/models/okwinds/Qwen2-VL-7B-Instruct-MLX-8bit

---

# Qwen2-VL-7B-Instruct-MLX-8bit

## 简介

MLX  是 Apple 机器学习研究团队，推出的一款针对 Apple silicon 芯片的机器学习 array framework。

#### MLX 的主要特性

- MLX提供了一个与NumPy紧密一致的Python API。MLX还提供了功能齐全的C++、C和Swift API，这些API与Python API高度相似。MLX拥有更高级别的包，如mlx.nn和mlx.optimizers，它们的API与PyTorch紧密一致，以简化构建更复杂模型的过程。

- 可组合函数变换：MLX支持可组合的函数变换，用于自动微分、自动向量化以及计算图优化。

- Lazy computation：MLX中的计算是惰性的。数组仅在需要时才会被实际创建。

- 动态图构建：MLX中的计算图是动态构建的。改变函数参数的形状不会触发缓慢的编译过程，调试过程简单直观。

- 多设备支持：操作可以在支持的任何设备上运行（目前包括CPU和GPU）。

- 统一内存模型：MLX与其它框架的主要区别在于其统一内存模型。在MLX中，数组存储在共享内存中，这意味着可以在任何支持的设备类型上执行操作，而无需在设备间传输数据。

## [Qwen2-VL 同系列 MLX 模型](https://www.modelscope.cn/collections/Qwen2-VL-MLX-64ceaa8198a648)

## Qwen2.5 同系列模型

#### Finetuned Model

- **Model tree** </br>
	&nbsp;Base model - [Qwen/Qwen2.5-32B](https://www.modelscope.cn/models/Qwen/Qwen2.5-32B) </br>
		&nbsp; <span style="font-weight: bold;">╰</span>─  Finetuned - [Qwen/Qwen2.5-32B-Instruct](https://www.modelscope.cn/models/Qwen/Qwen2.5-32B-Instruct) </br>
		&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;<span style="font-weight: bold;"> ├</span>─  Finetuned -  [CompassJudger-1](https://www.modelscope.cn/collections/CompassJudger-1-Int-and-FP8---Mixed-Precision-85d756858db345) </br>
		&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;<span style="font-weight: bold;">└</span>─  Finetuned -  [Rombos-LLM-Qwen2.5](https://www.modelscope.cn/collections/Rombos-LLM-Qwen25-4dc8690ad7f541) </br>


## 模型概述

Qwen2-VL-7B-Instruct-MLX-8bit 是一个基于 通义千问 Qwen2-VL-7B-Instruct 的 8bit 量化的模型。

- **模型名称:** Qwen2-VL-7B-Instruct-MLX-8bit <br/>
- **模型架构:** Qwen2 <br/>
- **权重量化:** 8bit <br/>

该模型通过将 [qwen/Qwen2-VL-7B-Instruct](https://www.modelscope.cn/models/qwen/Qwen2-VL-7B-Instruct) 的 16bit 权重量化为 8bit 而实现。

量化过程将每个参数从 16bit 减少到 8bit，将模型占用磁盘空间大小，以及推理时加载模型需要的 MAC 内存空间，减少到了大约为原模型的1/2。

> <span style="color: red;">注意：MLX 仅适用于运行 macOS >= 13.5 的设备，强烈建议使用 macOS 14 （Sonoma）</span>


#### SDK下载

安装ModelScope

```
pip install modelscope
```

SDK模型下载

```
from modelscope import snapshot_download
model_dir = snapshot_download('okwinds/Qwen2-VL-7B-Instruct-MLX-8bit')
```


#### Git下载

```
git clone https://www.modelscope.cn/okwinds/Qwen2-VL-7B-Instruct-MLX-8bit.git
```

## 推理要求

运行以下命令以安装所需的 MLX 软件包。

```
pip install mlx_vlm mlx-lm mlx -U
```

## Quickstart

#### 代码示例

这里提供了一个带有 `apply_chat_template` 的代码片段，展示如何加载 tokenizer 和模型以及如何生成内容。

```python
from mlx_vlm import load, generate
from mlx_vlm.prompt_utils import apply_chat_template
from mlx_vlm.utils import load_config

model_path = "/Users/okwinds/AI/Model/Qwen2-VL-7B-Instruct-MLX-8bit"
model, processor = load(model_path)
config = load_config(model_path)

images = ['/Users/okwinds/Downloads/大脑连接芯片.jpg', '/Users/okwinds/Downloads/IMG_0042.JPG']
prompt = "这两张图各自展示了什么？分别详细说说。"

formatted_prompt = apply_chat_template(
    processor, config, prompt, num_images=len(images)
)

output = generate(model, processor, images, formatted_prompt, verbose=True, max_tokens=1024)
```

推理结果样例：

```plaintext
Image: ['/Users/okwinds/Downloads/大脑连接芯片.jpg', '/Users/okwinds/Downloads/IMG_0042.JPG']

Prompt: <|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
这两张图各自展示了什么？分别详细说说。<|vision_start|><|image_pad|><|vision_end|><|vision_start|><|image_pad|><|vision_end|><|im_end|>
<|im_start|>assistant

第一张图展示了一个机械大脑，背景是字母和数字的随机组合。这个机械大脑由许多金属部件组成，看起来像是一个复杂的电子设备或机器人的一部分。它似乎是一个高科技的、未来主义的设计，可能与人工智能、神经网络或其他形式的机器学习有关。

第二张图展示了一个红色头发的人脸，背景也是字母和数字的随机组合。这个人脸看起来像是一个动漫或漫画风格的角色，表情有些严肃或困惑。背景中的字母和数字可能与这个角色有关，或者只是作为装饰元素。

这两张图都使用了字母和数字的随机组合作为背景，这可能是一种艺术风格的选择，或者是为了强调某种主题或概念。
==========
Prompt: 6.331 tokens-per-sec
Generation: 11.208 tokens-per-sec
```

#### 推理引擎

推荐在 MAC 上使用 xinference 进行推理，xinference 是一个一站式推理 LLM 的引擎，可以方便易用地加载和运行 MLX 模型。并且兼容 Openai 样式的 API，对 Qwen 系列模型支持 Function calling 推理。

使用 conda 创建一个虚拟环境，并安装 xinference ：

```bash
# 创建 python 3.10 虚拟环境
conda create -n xinference python=3.10 -y

# 激活虚拟环境
conda activate xinference

# 安装 xinference 以及 mlx 依赖
pip install "xinference[mlx]"
```

启动 xinference：

```bash
xinference-local -H 0.0.0.0 -p 9997
```

启动后，可以通过http://localhost:9997 访问 xinference 的 web 界面。通过 Register Model 注册下载好的模型以后，即可推理。
