---
title: Qwen2.5-Omni-3B-Thinker-AWQ
canonical_url: "https://www.modelscope.cn/models/tclf90/Qwen2.5-Omni-3B-Thinker-AWQ"
md_url: "https://www.modelscope.cn/models/tclf90/Qwen2.5-Omni-3B-Thinker-AWQ.md"
repository: tclf90/Qwen2.5-Omni-3B-Thinker-AWQ
chinese_name: "通义千问2.5-Omni-3B-Thinker-AWQ"
last_updated: 2025-05-15
license: other
model_type:
- qwen2_5_omni
architectures:
- Qwen2_5OmniModel
base_model:
- Qwen/Qwen2.5-Omni-3B
base_model_relation: quantized
parameters: 1.7B
tensor_type:
- I32
- F16
library_name:
- safetensors
- pytorch
frameworks:
- pytorch
language:
- en
inference_backends:
- "deploy_task text/emb/vlm"
- "vllm 0.9.2"
downloads: 711
stars: 1
tags:
- multimodal
- vllm
- awq
- int4
- "量化修复"
---
# Qwen2.5-Omni-3B-Thinker-AWQ
> Qwen2.5-Omni-3B-Thinker-AWQ - tclf90 在 ModelScope 开源的模型。通义千问2.5-Omni-3B-Thinker-AWQ 基础型 Qwen/Qwen2.5-Omni-3B
tclf90/Qwen2.5-Omni-3B-Thinker-AWQ 是 ModelScope 魔搭社区上的 1.7B 参数机器学习模型，采用 other 许可，基于 Qwen/Qwen2.5-Omni-3B 构建，可用 deploy_task text/emb/vlm、vllm 0.9.2 部署。
- **Repository**: tclf90/Qwen2.5-Omni-3B-Thinker-AWQ
- **License**: other
- **Parameters**: 1.7B
- **Base model**: Qwen/Qwen2.5-Omni-3B
- **Inference backends**: deploy_task text/emb/vlm, vllm 0.9.2
- **Tags**: multimodal, vllm, awq, int4, 量化修复
- **Downloads**: 711
- **Stars**: 1
- **Last updated**: 2025-05-15
Source: https://www.modelscope.cn/models/tclf90/Qwen2.5-Omni-3B-Thinker-AWQ
---
# 通义千问2.5-Omni-3B-Thinker-AWQ
基础型 [Qwen/Qwen2.5-Omni-3B](https://www.modelscope.cn/models/Qwen/Qwen2.5-Omni-3B)
### 介绍
反正vllm暂不能轻易支持语音输出，索性将语音输出（talker）环节移除，仅保留多模态输入（thinker），其余不做改变。
用 `vllm serve` 启动即可。
### 【模型更新日期】
```
2025-05-15
1. 首次commit
```
### 【依赖】
```
vllm==0.8.5
transformers@v4.51.3-Qwen2.5-Omni-preview （暂时）
```
### 【安装】
Qwen2.5-Omni系列，暂时需要特定的transformers版本
```
pip uninstall transformers
pip install git+https://github.com/huggingface/transformers@v4.51.3-Qwen2.5-Omni-preview
pip install accelerate
```
Omni前处理模块
```
# It's highly recommended to use `[decord]` feature for faster video loading.
pip install qwen-omni-utils[decord] -U
```
因为该模型涉及Qwen2的视觉输入模块，请务必仔细阅读下面的`Qwen2 VL相关注意事项`
### 【💡新版 VLLM MoE 注意事项💡】
#### 1. 需使用V0推理模式
启动vllm之前，先设置环境变量
```
export VLLM_USE_V1=0
```
### 【💡Qwen2 VL相关注意事项💡】
### 1. 关于所有涉及Qwen2 VL模块的模型（Qwen2.5-VL 以及 Qwen2.5-Omni），通过vllm启动，文本作答质量下降问题。
该问的出现，似乎是因为vllm在传入qwen2 attention模块的时候，cuda 模式下的 positions 的shape有点问题（eager模式没问题），导致模型（不论量化与否、不论量化格式）的文本作答崩坏、与其余线上WebUI及API调用结果不匹配。
我先简单在 `vllm` 中的 `qwen2.py`的`attention`模块下添加
```commandline
if len(positions.shape) == 2:
positions = positions[0, :]
```
做简单处理；该补丁方式不一定是正确且最优解，但模型作答能够正常，且简单测试后，不影响qwen2其余系列的模型调用。
如果Qwen团队之后有向vllm提交相关pr修复后，则不再需要补丁。
修改后的`qwen2.py`文件也附件上传了，可将其简单替换至
```.../vllm/model_executor/models/qwen2.py```
完成上述修订。
### 2. Qwen2多模态模型下的纯文本请求方式
非多模态的时候，旧的纯文本请求方式为：
```commandline
"messages":
[
{
"role": "user",
"content": "...用户提问...",
}
]
```
但经过多次测试表明，这个请求方式调用 vllm serve 的 Qwen2.5-VL 及 Qwen2.5-Omni 模型，可能对作答质量会有影响。所以请确保请求的时候，即使是纯文本对话，也请按照多模态输入的方式进行请求：
```
"messages":
[
{
"role": "user",
"content":
[
{
"type": "text",
"text": "...用户提问..."
}
]
}
]
```
### 【模型列表】
| 文件大小 | 最近更新时间 |
|---------|--------------|
| `4.1GB` | `2025-05-15` |
### 【模型下载】
```python
from modelscope import snapshot_download
snapshot_download('tclf90/Qwen2.5-Omni-3B-Thinker-AWQ', cache_dir="本地路径")
```
### 【介绍】
# Qwen2.5-Omni
## Overview
### Introduction
Qwen2.5-Omni is an end-to-end multimodal model designed to perceive diverse modalities, including text, images, audio, and video, while simultaneously generating text and natural speech responses in a streaming manner.
### Citation
If you find our paper and code useful in your research, please consider giving a star :star: and citation :pencil: :)
```BibTeX
@article{Qwen2.5-Omni,
title={Qwen2.5-Omni Technical Report},
author={Jin Xu, Zhifang Guo, Jinzheng He, Hangrui Hu, Ting He, Shuai Bai, Keqin Chen, Jialin Wang, Yang Fan, Kai Dang, Bin Zhang, Xiong Wang, Yunfei Chu, Junyang Lin},
journal={arXiv preprint arXiv:2503.20215},
year={2025}
}
```