--- title: Qwen2.5-7B-Instruct-MLX-8bit canonical_url: "https://www.modelscope.cn/models/okwinds/Qwen2.5-7B-Instruct-MLX-8bit" md_url: "https://www.modelscope.cn/models/okwinds/Qwen2.5-7B-Instruct-MLX-8bit.md" repository: okwinds/Qwen2.5-7B-Instruct-MLX-8bit chinese_name: "通义千问Qwen2.5-7B-Instruct-MLX-8bit" last_updated: 2025-01-05 license: apache-2.0 pipeline_tag: text-generation tasks: - text-generation model_type: - qwen2 architectures: - Qwen2ForCausalLM parameters: 2.0B tensor_type: - F16 - U32 library_name: - mlx - safetensors language: - en - zh-cn inference_backends: - "deploy_task text/emb" - "lmdeploy 0.9.1" - "lmdeploy_turbomind 0.9.1" - "sglang 0.5.2" - "vllm 0.9.2" downloads: 308 stars: 0 tags: - MLX - Instruct - Chat --- # Qwen2.5-7B-Instruct-MLX-8bit > Qwen2.5-7B-Instruct-MLX-8bit - okwinds 在 ModelScope 开源的模型。Qwen2.5-7B-Instruct-MLX-8bit okwinds/Qwen2.5-7B-Instruct-MLX-8bit 是 ModelScope 魔搭社区上的 2.0B 参数text-generation模型，采用 apache-2.0 许可，可用 deploy_task text/emb、lmdeploy 0.9.1、lmdeploy_turbomind 0.9.1 部署。 - **Repository**: okwinds/Qwen2.5-7B-Instruct-MLX-8bit - **License**: apache-2.0 - **Tasks**: text-generation - **Parameters**: 2.0B - **Inference backends**: deploy_task text/emb, lmdeploy 0.9.1, lmdeploy_turbomind 0.9.1, sglang 0.5.2, vllm 0.9.2 - **Tags**: MLX, Instruct, Chat - **Downloads**: 308 - **Stars**: 0 - **Last updated**: 2025-01-05 Source: https://www.modelscope.cn/models/okwinds/Qwen2.5-7B-Instruct-MLX-8bit --- # Qwen2.5-7B-Instruct-MLX-8bit ## 简介 MLX 是 Apple 机器学习研究团队，推出的一款针对 Apple silicon 芯片的机器学习 array framework。 #### MLX 的主要特性 - MLX提供了一个与NumPy紧密一致的Python API。MLX还提供了功能齐全的C++、C和Swift API，这些API与Python API高度相似。MLX拥有更高级别的包，如mlx.nn和mlx.optimizers，它们的API与PyTorch紧密一致，以简化构建更复杂模型的过程。 - 可组合函数变换：MLX支持可组合的函数变换，用于自动微分、自动向量化以及计算图优化。 - Lazy computation：MLX中的计算是惰性的。数组仅在需要时才会被实际创建。 - 动态图构建：MLX中的计算图是动态构建的。改变函数参数的形状不会触发缓慢的编译过程，调试过程简单直观。 - 多设备支持：操作可以在支持的任何设备上运行（目前包括CPU和GPU）。 - 统一内存模型：MLX与其它框架的主要区别在于其统一内存模型。在MLX中，数组存储在共享内存中，这意味着可以在任何支持的设备类型上执行操作，而无需在设备间传输数据。 ## Qwen2.5 同系列模型 #### Finetuned Model - **Model tree**
 Base model - [Qwen/Qwen2.5-32B](https://www.modelscope.cn/models/Qwen/Qwen2.5-32B)
  ╰─ Finetuned - [Qwen/Qwen2.5-32B-Instruct](https://www.modelscope.cn/models/Qwen/Qwen2.5-32B-Instruct)
          ├─ Finetuned - [CompassJudger-1](https://www.modelscope.cn/collections/CompassJudger-1-Int-and-FP8---Mixed-Precision-85d756858db345)
         └─ Finetuned - [Rombos-LLM-Qwen2.5](https://www.modelscope.cn/collections/Rombos-LLM-Qwen25-4dc8690ad7f541)
#### 同系量化 | **Model** | GPTQ Compression & FP8 | GGUF | **MLX** (macOS) | | ------------ |----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| -------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | *3B params* | - | [3B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/Qwen2.5-3B-Instruct-GGUF-V3-LOT) | [3B-MLX-4bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-3B-Instruct-MLX-4bit)
[3B-MLX-8bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-3B-Instruct-MLX-8bit) | | *7B params* | [7B-Int4-W4A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-7B-Instruct-Int4-W4A16)
[7B-Int8-W8A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-7B-Instruct-Int8-W8A16)
[7B-FP8-A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-7B-Instruct-FP8-A16)
[Coder-7B-Instruct-FP8](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-7B-Instruct-FP8) | [7B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/Qwen2.5-7B-Instruct-GGUF-V3-LOT) | [7B-MLX-4bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-7B-Instruct-MLX-4bit)
[7B-MLX-8bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-7B-Instruct-MLX-8bit) | | *Coder 7B params* | [Coder-7B-Int4-W4A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-7B-Instruct-Int4-W4A16)
[Coder-7B-Int8-W8A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-7B-Instruct-Int8-W8A16)
[Coder-7B-FP8-A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-7B-Instruct-FP8-A16) | [Coder-7B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-7B-Instruct-GGUF-V3-LOT) | [Coder-7B-MLX-4bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-7B-Instruct-MLX-4bit)
[Coder-7B-MLX-8bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-7B-Instruct-MLX-8bit) | | *14B params* | [14B-Int4-W4A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-14B-Instruct-Int4-W4A16)
[14B-Int8-W8A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-14B-Instruct-Int8-W8A16)
[14B-FP8-A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-14B-Instruct-FP8-A16) | [14B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/Qwen2.5-14B-Instruct-GGUF-V3-LOT) | [14B-MLX-4bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-14B-Instruct-MLX-4bit)
[14B-MLX-8bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-14B-Instruct-MLX-8bit) | | *Coder 14B params* | [Coder-14B-Int4-W4A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-14B-Instruct-Int4-W4A16)
[Coder-14B-Int8-W8A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-14B-Instruct-Int8-W8A16) | [Coder-14B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-14B-Instruct-GGUF-V3-LOT) | [Coder-14B-MLX-4bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-14B-Instruct-MLX-4bit)
[Coder-14B-MLX-8bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-14B-Instruct-MLX-8bit) | | *32B params* | [32B-Int4-W4A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-32B-Instruct-Int4-W4A16)
[32B-Int8-W8A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-32B-Instruct-Int8-W8A16)
[32B-FP8-A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-32B-Instruct-FP8-A16) | [32B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/Qwen2.5-32B-Instruct-GGUF-V3-LOT) | [32B-MLX-2bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-32B-Instruct-MLX-2bit)
[32B-MLX-4bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-32B-Instruct-MLX-4bit)
[32B-MLX-8bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-32B-Instruct-MLX-8bit) | | *Coder 32B params* | [Coder-32B-Int4-W4A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-32B-Instruct-Int4-W4A16)
[Coder-32B-FP8](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-32B-Instruct-FP8) | [Coder-32B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-32B-Instruct-GGUF-V3-LOT) | [Coder-32B-MLX-4bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-32B-Instruct-MLX-4bit)
[Coder-32B-MLX-8bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-32B-Instruct-MLX-8bit) | | *QwQ-Preview 32B params* | [QwQ-32B-Preview-Int4-W4A16](https://www.modelscope.cn/models/okwinds/QwQ-32B-Preview-Int4-W4A16)
[QwQ-32B-Preview-FP8](https://www.modelscope.cn/models/okwinds/QwQ-32B-Preview-FP8) | [QwQ-32B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/QwQ-32B-Preview-GGUF-V3-LOT) | [QwQ-32B-MLX-4bit](https://www.modelscope.cn/models/okwinds/QwQ-32B-Preview-MLX-4bit)
[QwQ-32B-MLX-8bit](https://www.modelscope.cn/models/okwinds/QwQ-32B-Preview-MLX-8bit) | | *72B params* | - | [72B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/Qwen2.5-72B-Instruct-GGUF-V3-LOT) | [72B-MLX-2bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-72B-Instruct-MLX-2bit)
[72B-MLX-4bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-72B-Instruct-MLX-4bit)
[72B-MLX-8bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-72B-Instruct-MLX-8bit) | ## 模型概述 Qwen2.5-7B-Instruct-MLX-8bit 是一个基于 通义千问 Qwen2.5-7B-Instruct 的 8bit 量化的模型。 - **模型名称:** Qwen2.5-7B-Instruct-MLX-8bit - **模型架构:** Qwen2.5 - **权重量化:** 8bit 该模型通过将 [qwen/Qwen2.5-7B-Instruct](https://www.modelscope.cn/models/qwen/Qwen2.5-7B-Instruct) 的 16bit 权重量化为 8bit 而实现。 量化过程将每个参数从 16bit 减少到 8bit，将模型占用磁盘空间大小，以及推理时加载模型需要的 MAC 内存空间，减少到了大约为原模型的1/2。 > 注意：MLX 仅适用于运行 macOS >= 13.5 的设备，强烈建议使用 macOS 14 （Sonoma） ## 推理要求 运行以下命令以安装所需的 MLX 软件包。 ``` pip install mlx-lm mlx -U ``` ## Quickstart #### 代码示例 这里提供了一个带有 `apply_chat_template` 的代码片段，展示如何加载 tokenizer 和模型以及如何生成内容。 ```python from mlx_lm import load, generate from modelscope import snapshot_download model_dir =snapshot_download('okwinds/Qwen2.5-7B-Instruct-MLX-8bit') model, tokenizer = load(model_dir, tokenizer_config={"eos_token": "<|im_end|>"}) prompt = "写个小作文，主题你定。" messages = [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": prompt} ] text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True ) response = generate(model, tokenizer, prompt=text, verbose=True, top_p=0.8, temp=0.7, repetition_penalty=1.05, max_tokens=512) ``` 推理结果样例： ```plaintext ========== Prompt: <|im_start|>system You are a helpful assistant.<|im_end|> <|im_start|>user 写个小作文，主题你定。<|im_end|> <|im_start|>assistant 题目：《初冬的温暖》 初冬的晨风带着些许寒意，却也带来了不一样的温馨。这个季节，似乎总能给人们带来更多的思考和感悟。 在这样的一个清晨，我独自漫步于校园的小径上。路边的树木已经换上了金黄的外衣，一片片落叶静静地躺在地上，仿佛在诉说着秋天的故事。我轻轻拾起一片落叶，它在我掌心显得那么轻盈，却也让我感受到了岁月的沉淀和生命的轮回。 正当我沉浸在这份宁静之中时，一个熟悉的身影出现在了我的视线里。那是我的好友小李，他正迎着晨风跑步。我们互相打了个招呼，开始了短暂的交谈。小李告诉我，他最近正在准备一场马拉松比赛，每天早晨都会坚持跑步，以锻炼身体。听着他的分享，我被他的坚持和毅力所感动。 那一刻，我意识到，尽管初冬的天气寒冷，但只要我们心中有爱、有梦想，就能感受到生活的温暖。小李的笑容和他对于未来的憧憬，仿佛为这个季节增添了一抹亮色。我们相约一起去食堂吃早餐，分享彼此的生活点滴。 在接下来的日子里，我们成为了更好的朋友。我们一起探讨生活中的点点滴滴，分享彼此的喜怒哀乐。在这个过程中，我学会了珍惜身边的人和事，也更加明白了友谊的重要性。 初冬的温暖不仅仅来自于阳光和暖风，更来自于人与人之间的关爱与陪伴。当我们用心去感受这个世界时，你会发现生活中处处充满着温暖和美好。 ========== Prompt: 27 tokens, 36.204 tokens-per-sec Generation: 322 tokens, 11.316 tokens-per-sec Peak memory: 7.350 GB ``` #### 推理引擎 推荐在 MAC 上使用 xinference 进行推理，xinference 是一个一站式推理 LLM 的引擎，可以方便易用地加载和运行 MLX 模型。并且兼容 Openai 样式的 API，对 Qwen 系列模型支持 Function calling 推理。 使用 conda 创建一个虚拟环境，并安装 xinference ： ```bash # 创建 python 3.10 虚拟环境 conda create -n xinference python=3.10 -y # 激活虚拟环境 conda activate xinference # 安装 xinference 以及 mlx 依赖 pip install "xinference[mlx]" ``` 启动 xinference： ```bash xinference-local -H 0.0.0.0 -p 9997 ``` 启动后，可以通过http://localhost:9997 访问 xinference 的 web 界面。通过 Register Model 注册下载好的模型以后，即可推理。
_______________________________ #### _作者在此 👇🏻 扫一扫_