---
title: Qwen2.5-Omni-3B-MNN
canonical_url: "https://www.modelscope.cn/models/MNN/Qwen2.5-Omni-3B-MNN"
md_url: "https://www.modelscope.cn/models/MNN/Qwen2.5-Omni-3B-MNN.md"
repository: MNN/Qwen2.5-Omni-3B-MNN
last_updated: 2025-09-01
license: "Apache License 2.0"
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - transformer
library_name:
  - mnn
frameworks:
  - MNN
language:
  - cn
domain:
  - nlp
downloads: 1164
stars: 2
tags:
  - instruction-tuned
---

# Qwen2.5-Omni-3B-MNN

> Qwen2.5-Omni-3B-MNN - MNN 在 ModelScope 开源的模型。介绍（Introduction） 此模型是使用llmexport从Qwen2.5-Omni-3B导出的4bit量化版本的MNN模型。

MNN/Qwen2.5-Omni-3B-MNN 是 ModelScope 魔搭社区上的text-generation模型，采用 Apache License 2.0 许可。

- **Repository**: MNN/Qwen2.5-Omni-3B-MNN
- **License**: Apache License 2.0
- **Tasks**: text-generation
- **Tags**: instruction-tuned
- **Downloads**: 1164
- **Stars**: 2
- **Last updated**: 2025-09-01

Source: https://www.modelscope.cn/models/MNN/Qwen2.5-Omni-3B-MNN

---

# Qwen2.5-Omni-3B-MNN

## 介绍（Introduction）
此模型是使用[llmexport](https://github.com/alibaba/MNN/tree/master/transformers/llm/export)从Qwen2.5-Omni-3B导出的4bit量化版本的MNN模型。

## 下载
```bash
#安装ModelScope
pip install modelscope
```
```bash
#命令行工具下载
modelscope download --model 'MNN/Qwen2.5-Omni-3B-MNN' --local_dir 'path/to/dir'
```
```python
#SDK模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('MNN/Qwen2.5-Omni-3B-MNN')
```
Git下载
```bash
#Git模型下载
git clone https://www.modelscope.cn/MNN/Qwen2.5-Omni-3B-MNN.git
```

## 使用
```bash
# 下载MNN源码
git clone https://github.com/alibaba/MNN.git

# 编译
cd MNN
mkdir build && cd build
cmake .. -DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true
make -j

# 运行
./llm_demo /path/to/Qwen2.5-Omni-3B-MNN/config.json prompt.txt
```

## 文档
[MNN-LLM](https://mnn-docs.readthedocs.io/en/latest/transformers/llm.html#)