---
title: Qwen2.5-Omni-7B-H3-Prompt-Rewriter-GGUF
canonical_url: "https://www.modelscope.cn/models/zhaoke1006/Qwen2.5-Omni-7B-H3-Prompt-Rewriter-GGUF"
md_url: "https://www.modelscope.cn/models/zhaoke1006/Qwen2.5-Omni-7B-H3-Prompt-Rewriter-GGUF.md"
repository: zhaoke1006/Qwen2.5-Omni-7B-H3-Prompt-Rewriter-GGUF
last_updated: 2026-08-27
license: other
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
base_model:
  - Qwen/Qwen2.5-Omni-7B
base_model_relation: quantized
library_name:
  - gguf
frameworks:
  - gguf
language:
  - en
  - zh
downloads: 162
stars: 2
tags:
  - gguf
  - llama.cpp
  - qwen2.5-omni
  - multimodal
  - lora-merged
  - prompt-rewriting
  - minimax-h3
  - video-captioning
  - audio-understanding
---

# Qwen2.5-Omni-7B-H3-Prompt-Rewriter-GGUF

> Qwen2.5-Omni-7B-H3-Prompt-Rewriter-GGUF - zhaoke1006 在 ModelScope 开源的模型。Qwen2.5-Omni-7B H3 Prompt Rewriter GGUF

zhaoke1006/Qwen2.5-Omni-7B-H3-Prompt-Rewriter-GGUF 是 ModelScope 魔搭社区上的image-text-to-text模型，采用 other 许可，基于 Qwen/Qwen2.5-Omni-7B 构建。

- **Repository**: zhaoke1006/Qwen2.5-Omni-7B-H3-Prompt-Rewriter-GGUF
- **License**: other
- **Tasks**: image-text-to-text
- **Base model**: Qwen/Qwen2.5-Omni-7B
- **Tags**: gguf, llama.cpp, qwen2.5-omni, multimodal, lora-merged, prompt-rewriting, minimax-h3, video-captioning, audio-understanding
- **Downloads**: 162
- **Stars**: 2
- **Last updated**: 2026-08-27

Source: https://www.modelscope.cn/models/zhaoke1006/Qwen2.5-Omni-7B-H3-Prompt-Rewriter-GGUF

---

# Qwen2.5-Omni-7B H3 Prompt Rewriter GGUF

这是将 [`lightx2v/MiniMax-H3-Prompt-Rewriter-LoRA-Omni`](https://huggingface.co/lightx2v/MiniMax-H3-Prompt-Rewriter-LoRA-Omni) 融合到 [`Qwen/Qwen2.5-Omni-7B`](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) Thinker 后制作的社区 GGUF 合集。它接收文本以及可选的图片、视频或音频参考，输出适用于 MiniMax H3 音视频生成的结构化提示词。

This community repository contains GGUF files made by merging the LightX2V MiniMax-H3 Omni prompt-rewriter LoRA into the Qwen2.5-Omni-7B Thinker. It accepts text and optional image, video, or audio references and returns a production-oriented MiniMax H3 prompt.

> 这是提示词重写/反推模型，只输出文字，不生成视频或音频，也不包含 Qwen2.5-Omni Talker 的语音合成功能。

## 支持的任务

| 任务 | 输入 | 输出 |
| --- | --- | --- |
| T2AV | 文本 | H3 三字段提示词 |
| I2AV | 文本 + 1 张首帧图片 | 首帧对齐语句 + H3 三字段 |
| L2AV | 文本 + 1 张尾帧图片 | 尾帧对齐语句 + H3 三字段 |
| FL2AV | 文本 + 2 张首尾帧图片 | 首尾帧对齐语句 + H3 三字段 |
| Ref2AV | 文本 + 任意有序图片、视频和/或独立音频 | 六段式全参考提示词 |

Ref2AV 可用于视频反推打标。长视频建议先切成 5–15 秒片段；若需要理解视频声音，建议把音轨提取为 16 kHz 单声道 WAV，并与视频一起提交。

## 必须同时下载的文件

多模态推理需要一份主模型和公共 `mmproj`：

1. 从下表选择一个 `Qwen2.5-Omni-7B-H3-Prompt-Rewriter-*.gguf`。
2. 同时下载 `mmproj-Qwen2.5-Omni-7B-F16.gguf`。

只加载主 GGUF 可以执行文本推理，但无法直接读取图片、视频或音频。不同量化版本共用同一个 mmproj。

## 文件选择

| 文件 | 大小 | BPW | 建议用途 |
| --- | ---: | ---: | --- |
| `Qwen2.5-Omni-7B-H3-Prompt-Rewriter-Q4_K_M.gguf` | 4.36 GiB | 4.91 | 显存受限环境，速度最快 |
| `Qwen2.5-Omni-7B-H3-Prompt-Rewriter-Q5_K_M.gguf` | 5.07 GiB | 5.71 | 推荐的质量、速度和体积平衡 |
| `Qwen2.5-Omni-7B-H3-Prompt-Rewriter-Q6_K.gguf` | 5.82 GiB | 6.56 | 更高质量 |
| `Qwen2.5-Omni-7B-H3-Prompt-Rewriter-Q8_0.gguf` | 7.54 GiB | 8.50 | 接近原精度，显存占用更高 |
| `Qwen2.5-Omni-7B-H3-Prompt-Rewriter-F16.gguf` | 14.19 GiB | 16.00 | 未量化融合母模型，主要用于继续量化或质量对照 |
| `mmproj-Qwen2.5-Omni-7B-F16.gguf` | 2.46 GiB | — | 公共图像、视频、音频编码器与投影器 |

如果只下载一个量化版本，建议使用 Q5_K_M。16 GB 显卡可以完整放入 Q8_0 主模型和 F16 mmproj，但还应为 KV cache、媒体编码和运行时缓冲区预留显存。

## llama.cpp 启动示例

请使用支持 Qwen2.5-Omni 多模态输入的新版 llama.cpp。本仓库使用 `b301-d415e65` 完成转换、量化与验证。

```powershell
llama-server.exe `
  -m .\Qwen2.5-Omni-7B-H3-Prompt-Rewriter-Q5_K_M.gguf `
  --mmproj .\mmproj-Qwen2.5-Omni-7B-F16.gguf `
  -ngl 99 `
  -c 8192 `
  --host 127.0.0.1 `
  --port 8019
```

通过 OpenAI 兼容 `/v1/chat/completions` API 传入媒体时，使用：

- 图片：`type: image_url`
- 视频：`type: input_video`
- 音频：`type: input_audio`

系统提示词位于 `prompt/system_prompt.py`。T2AV/I2AV/FL2AV/L2AV 使用 `SYSTEM_PROMPT`；Ref2AV 使用 `REF2AV_SYSTEM_PROMPT`。

## 合并与量化方法

1. 从完整 Qwen2.5-Omni checkpoint 导出 Thinker F16 GGUF 和独立 F16 mmproj。
2. 把官方 Omni LoRA 转换为 GGUF，并以 scale 1.0 融合进 Thinker F16。
3. 使用官方两套 system prompt 构建 160 组校准记录，覆盖 T2AV、I2AV、FL2AV、L2AV 和 Ref2AV。
4. 校准语料经 Qwen tokenizer 统计为 419,699 tokens；最终 importance matrix 包含 102 个完整 4096-token chunks、197 个 entries。
5. Q4_K_M、Q5_K_M、Q6_K 均直接从融合 F16 母模型使用同一最终 imatrix 量化；Q8_0 按规范不依赖 imatrix。

`MiniMax-H3-Prompt-Rewriter-Omni-imatrix.gguf` 仅用于后续量化，不能作为推理模型独立加载。公开的 160 组 Prompt 是根据官方格式合成的量化校准语料，不是上游 LoRA 的训练数据。

## 验证状态

- Q4_K_M + F16 mmproj：完成文本、图片、独立音频和视频四类真实 API 请求。
- 文本 T2AV 输出通过三个必需字段的顺序检查。
- 图片输出包含正确 I2AV 首帧对齐语句。
- 视频和音频输出进入 Ref2AV 六段式结构。
- Q5_K_M、Q6_K、Q8_0：分别完成独立加载和确定性最小文本生成，退出码均为 0。
- 所有主模型均包含 339 个 GGUF tensors；Q4/Q5/Q6 metadata 记录 197 个 imatrix entries 与 102 个 chunks。

这里的验证是格式、加载和功能性 smoke test，不等同于大规模主观质量评测。

## 已知限制

- llama.cpp 当前将 Qwen2.5-Omni 音频输入标记为实验性，音频理解质量可能低于 Transformers 官方后端。
- 视频通过 FFmpeg 解码和帧采样理解；长视频可能遗漏短暂事件，建议分段处理。
- 某些多模态投影算子可能回退到 CPU，导致图片、视频或音频 prefill 慢于纯文本。
- LoRA 会把输出强烈引导到 MiniMax H3 结构，不适合作为通用聊天模型。
- 模型可能补充用户未明确提供的画面或声音细节，关键对白、字幕和品牌文本应人工复核。

## 来源与许可证

- Base model: `Qwen/Qwen2.5-Omni-7B`, Apache-2.0.
- Adapter: `lightx2v/MiniMax-H3-Prompt-Rewriter-LoRA-Omni`, upstream metadata uses `license: other` and links to the base Apache-2.0 license.
- Conversion runtime: `ggml-org/llama.cpp`.

因此本仓库模型卡保守标记为 `license: other`。底模的 Apache-2.0 不应自动解释为覆盖适配器或融合权重；再分发或商用前请同时核对所有上游条款。

本仓库是社区转换，不代表 Qwen、MiniMax 或 LightX2V 官方发布或背书。
