---
title: Qwythos-27B-v1-MLX-VLM-4bit
canonical_url: "https://www.modelscope.cn/models/Fancie/Qwythos-27B-v1-MLX-VLM-4bit"
md_url: "https://www.modelscope.cn/models/Fancie/Qwythos-27B-v1-MLX-VLM-4bit.md"
repository: Fancie/Qwythos-27B-v1-MLX-VLM-4bit
chinese_name: "Qwythos-27B MLX VLM 4bit"
last_updated: 2026-08-04
license: "Apache License 2.0"
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
  - visual-question-answering
model_type:
  - qwen3_5
architectures:
  - Qwen3_5ForConditionalGeneration
base_model:
  - empero-ai/Qwythos-27B-v1
base_model_relation: quantized
parameters: 4.7B
tensor_type:
  - U32
  - BF16
library_name:
  - mlx
  - safetensors
frameworks:
  - MLX
downloads: 14
stars: 0
tags:
  - mlx
  - mlx-vlm
  - qwen3.5
  - vision
  - multimodal
  - 4bit
  - "Apple Silicon"
  - qwythos
---

# Qwythos-27B-v1-MLX-VLM-4bit

> Qwythos-27B-v1-MLX-VLM-4bit - Fancie 在 ModelScope 开源的模型。Qwythos-27B-v1 的 MLX 4bit 多模态（含视觉）量化

Fancie/Qwythos-27B-v1-MLX-VLM-4bit 是 ModelScope 魔搭社区上的 4.7B 参数image-text-to-text、visual-question-answering模型，采用 Apache License 2.0 许可，基于 empero-ai/Qwythos-27B-v1 构建。

- **Repository**: Fancie/Qwythos-27B-v1-MLX-VLM-4bit
- **License**: Apache License 2.0
- **Tasks**: image-text-to-text, visual-question-answering
- **Parameters**: 4.7B
- **Base model**: empero-ai/Qwythos-27B-v1
- **Tags**: mlx, mlx-vlm, qwen3.5, vision, multimodal, 4bit, Apple Silicon, qwythos
- **Downloads**: 14
- **Stars**: 0
- **Last updated**: 2026-08-04

Source: https://www.modelscope.cn/models/Fancie/Qwythos-27B-v1-MLX-VLM-4bit

---

# Qwythos-27B-v1 · MLX VLM 4-bit

[empero-ai/Qwythos-27B-v1](https://www.modelscope.cn/models/empero-ai/Qwythos-27B-v1) 的社区 **MLX** 转换版，面向 Apple Silicon。**保留视觉塔。** 本仓**不含** MTP 头 —— 请使用配套 drafter。

> **约 32GB 统一内存请从这里开始。** 这是日常聊天 / 视觉构建。

## 该下载哪个仓库？

| 仓库 | 体积 | 适用场景 |
|------|------|----------|
| **本仓 — VLM 4-bit** | ~15GB | M 系列 ≤32–48GB 的默认选择 |
| [VLM BF16](https://www.modelscope.cn/models/Fancie/Qwythos-27B-v1-MLX-VLM-bf16) | ~55GB | 大内存 Mac、再量化实验 |
| [MTP drafter](https://www.modelscope.cn/models/Fancie/Qwythos-27B-v1-MLX-MTP) | ~829MB | 可选加速，配合 `mlx-vlm` 的 `--draft-model` |

官方 GGUF（LM Studio / llama.cpp，含内嵌 MTP）：[empero-ai/Qwythos-27B-v1-GGUF](https://www.modelscope.cn/models/empero-ai/Qwythos-27B-v1-GGUF)。

## 安装

```bash
pip install -U mlx-vlm
```

仅 Apple Silicon。需要 `mlx-vlm >= 0.6`。

## 快速开始

**文本**

```bash
mlx_vlm.generate \
  --model Fancie/Qwythos-27B-v1-MLX-VLM-4bit \
  --prompt "用一句话介绍你自己。" \
  --thinking-mode disabled \
  --max-tokens 256 \
  --temperature 0.6
```

**视觉**

```bash
mlx_vlm.generate \
  --model Fancie/Qwythos-27B-v1-MLX-VLM-4bit \
  --image ./photo.jpg \
  --prompt "描述这张图片。" \
  --thinking-mode disabled \
  --max-tokens 256 \
  --temperature 0.6
```

**视觉 + MTP**（图像 prefill 走主模型；MTP 加速文本 decode）

```bash
mlx_vlm.generate \
  --model Fancie/Qwythos-27B-v1-MLX-VLM-4bit \
  --draft-model Fancie/Qwythos-27B-v1-MLX-MTP \
  --draft-kind mtp \
  --draft-block-size 4 \
  --image ./photo.jpg \
  --prompt "描述这张图片。" \
  --thinking-mode disabled \
  --temperature 0.6
```

`hf download` / ModelScope 快照后的本地路径用法相同。

### LM Studio 说明

- **本 MLX 4-bit + MLX MTP** 面向 `mlx-vlm` CLI/server，不是 LM Studio 的 “Draft Model” 选择器（原生 MTP head ≠ 小体积对等 LLM）。
- LM Studio 开 MTP：优先官方 **`Qwythos-27B-MTP-Q4_K_M.gguf`**，并启用 **MTP Speculative Decoding**。

## 内容

- Affine **4-bit** MLX safetensors（`group_size=64`）
- `language_model` + `vision_tower`（333 个视觉张量）
- 上游 chat template / processor 配置
- **无** `mtp.*` 权重（被 `mlx_vlm.convert` 剥离；在 MTP 仓恢复）

## 采样

沿用上游 / Qwen3.5 thinking 默认建议：

| 参数 | 建议 |
|------|------|
| `temperature` | 工具/Agent `0.6` · 开放式 `1.0` |
| `top_p` / `top_k` | `0.95` / `20` |
| `repetition_penalty` | `1.05` |
| `max_tokens` | 开启 thinking 时给大（16k+） |

M5 32GB 粗测（短 prompt、关 thinking）：单独约 ~6 tok/s · 加 MTP 约 ~8–11 tok/s。

## 转换

```bash
mlx_vlm.convert \
  --hf-path /path/to/Qwythos-27B-v1 \
  --mlx-path ./Qwythos-27B-MLX-VLM-4bit \
  -q --q-bits 4 --dtype bfloat16 --trust-remote-code
```

需要视觉请用 **`mlx_vlm.convert`**，不要用 `mlx_lm.convert`。

## 许可与致谢

- 派生自 [empero-ai/Qwythos-27B-v1](https://www.modelscope.cn/models/empero-ai/Qwythos-27B-v1)（Apache-2.0），基座为 Qwen3.5-27B。
- 非官方社区 MLX 量化，供 Apple Silicon 推理。
- 上游面向技术/研究场景偏开放 —— 请自行添加应用层管控。

## 链接

| | |
|--|--|
| MTP drafter | [Fancie/Qwythos-27B-v1-MLX-MTP](https://www.modelscope.cn/models/Fancie/Qwythos-27B-v1-MLX-MTP) |
| BF16 MLX | [Fancie/Qwythos-27B-v1-MLX-VLM-bf16](https://www.modelscope.cn/models/Fancie/Qwythos-27B-v1-MLX-VLM-bf16) |
| 基座 | [empero-ai/Qwythos-27B-v1](https://www.modelscope.cn/models/empero-ai/Qwythos-27B-v1) |
| GGUF | [empero-ai/Qwythos-27B-v1-GGUF](https://www.modelscope.cn/models/empero-ai/Qwythos-27B-v1-GGUF) |
| Hugging Face（英文） | [FancieF/Qwythos-27B-v1-MLX-VLM-4bit](https://huggingface.co/FancieF/Qwythos-27B-v1-MLX-VLM-4bit) |