---
title: Qwythos-27B-v1-MLX-MTP
canonical_url: "https://www.modelscope.cn/models/Fancie/Qwythos-27B-v1-MLX-MTP"
md_url: "https://www.modelscope.cn/models/Fancie/Qwythos-27B-v1-MLX-MTP.md"
repository: Fancie/Qwythos-27B-v1-MLX-MTP
chinese_name: "Qwythos-27B MLX MTP草稿模型"
last_updated: 2026-08-04
license: "Apache License 2.0"
model_type:
  - qwen3_5_mtp
base_model:
  - empero-ai/Qwythos-27B-v1
base_model_relation: finetune
parameters: 424.7M
tensor_type:
  - BF16
library_name:
  - mlx
  - safetensors
frameworks:
  - MLX
downloads: 14
stars: 0
tags:
  - mlx
  - mlx-vlm
  - speculative-decoding
  - mtp
  - qwen3.5
  - "Apple Silicon"
  - qwythos
---

# Qwythos-27B-v1-MLX-MTP

> Qwythos-27B-v1-MLX-MTP - Fancie 在 ModelScope 开源的模型。Qwythos-27B-v1 的 MLX MTP 投机解码 drafter

Fancie/Qwythos-27B-v1-MLX-MTP 是 ModelScope 魔搭社区上的 424.7M 参数机器学习模型，采用 Apache License 2.0 许可，基于 empero-ai/Qwythos-27B-v1 构建。

- **Repository**: Fancie/Qwythos-27B-v1-MLX-MTP
- **License**: Apache License 2.0
- **Parameters**: 424.7M
- **Base model**: empero-ai/Qwythos-27B-v1
- **Tags**: mlx, mlx-vlm, speculative-decoding, mtp, qwen3.5, Apple Silicon, qwythos
- **Downloads**: 14
- **Stars**: 0
- **Last updated**: 2026-08-04

Source: https://www.modelscope.cn/models/Fancie/Qwythos-27B-v1-MLX-MTP

---

# Qwythos-27B-v1 · MLX MTP Drafter

从 [empero-ai/Qwythos-27B-v1](https://www.modelscope.cn/models/empero-ai/Qwythos-27B-v1) 拆出的独立 **Multi-Token Prediction (MTP)** 头。

> **不是完整 LLM。** 仅作为 `--draft-model`，与 MLX VLM 主模型一起加载。

## 该下载哪个仓库？

| 仓库 | 角色 |
|------|------|
| [VLM 4-bit](https://www.modelscope.cn/models/Fancie/Qwythos-27B-v1-MLX-VLM-4bit) | 主模型（推荐） |
| [VLM BF16](https://www.modelscope.cn/models/Fancie/Qwythos-27B-v1-MLX-VLM-bf16) | 主模型（大内存） |
| **本 MTP drafter** | 可选 decode 加速 |

`mlx_vlm.convert` 会丢掉 `mtp.*`。本仓将其恢复为 `model_type: qwen3_5_mtp`（`block_size=4`，约 829MB）。

## 安装

```bash
pip install -U mlx-vlm
```

## 用法（复制即用）

```bash
mlx_vlm.generate \
  --model Fancie/Qwythos-27B-v1-MLX-VLM-4bit \
  --draft-model Fancie/Qwythos-27B-v1-MLX-MTP \
  --draft-kind mtp \
  --draft-block-size 4 \
  --prompt "用三句话解释门控线性注意力。" \
  --thinking-mode disabled \
  --temperature 0.6
```

**带图像**（prefill 走主模型；MTP 加速文本尾部）：

```bash
mlx_vlm.generate \
  --model Fancie/Qwythos-27B-v1-MLX-VLM-4bit \
  --draft-model Fancie/Qwythos-27B-v1-MLX-MTP \
  --draft-kind mtp \
  --draft-block-size 4 \
  --image ./photo.jpg \
  --prompt "描述这张图片。" \
  --thinking-mode disabled
```

Server：

```bash
mlx_vlm.server \
  --model Fancie/Qwythos-27B-v1-MLX-VLM-4bit \
  --draft-model Fancie/Qwythos-27B-v1-MLX-MTP \
  --draft-kind mtp \
  --draft-block-size 4
```

### LM Studio 说明

**不要**指望本文件能作为 LM Studio 通用 Draft Model。LM Studio 开 MTP：使用官方内嵌 MTP 的 GGUF：[empero-ai/Qwythos-27B-v1-GGUF](https://www.modelscope.cn/models/empero-ai/Qwythos-27B-v1-GGUF)（`*MTP*Q4_K_M*`）并启用 **MTP Speculative Decoding**。

## 如何生成

```bash
python -m mlx_vlm.speculative.drafters.qwen3_5_mtp.split \
  --model /path/to/Qwythos-27B-v1 \
  --output ./Qwythos-27B-MTP \
  --block-size 4
```

## 许可与致谢

派生自 [empero-ai/Qwythos-27B-v1](https://www.modelscope.cn/models/empero-ai/Qwythos-27B-v1)（Apache-2.0）。非官方 MLX drafter，供 Apple Silicon 使用。

## 链接

| | |
|--|--|
| 主模型 VLM 4-bit | [Fancie/Qwythos-27B-v1-MLX-VLM-4bit](https://www.modelscope.cn/models/Fancie/Qwythos-27B-v1-MLX-VLM-4bit) |
| VLM BF16 | [Fancie/Qwythos-27B-v1-MLX-VLM-bf16](https://www.modelscope.cn/models/Fancie/Qwythos-27B-v1-MLX-VLM-bf16) |
| 基座 | [empero-ai/Qwythos-27B-v1](https://www.modelscope.cn/models/empero-ai/Qwythos-27B-v1) |
| Hugging Face（英文） | [FancieF/Qwythos-27B-v1-MLX-MTP](https://huggingface.co/FancieF/Qwythos-27B-v1-MLX-MTP) |